Zde je popis domu z příběhu:
„BĚHEM celého nudného, temného a bezhlučného dne na podzim roku, kdy mraky visely tísnivě nízko na nebesích, jsem projížděl sám na koni neobyčejně ponurou krajinou; ocitl jsem se, jak se odstíny večera přibližovaly, na dohled melancholického domu Usherů. Nevím, jak to bylo – ale při prvním pohledu na budovu jsem měl pocit nesnesitelnosti mým duchem proniklo šero, pravím, nesnesitelný, neboť ten pocit nebyl ulehčen žádným z toho napůl příjemného, protože poetického, sentimentu, s nímž mysl obvykle přijímá i ty nejpřísnější přirozené obrazy pusté nebo hrozné, kterou jsem předtím viděl já – na pouhém domě a jednoduchých krajinných rysech panství – na bezútěšných zdech – na prázdných oknech připomínajících oči – na několika ostřicích – a na několika bílých kmenech zchátralých stromů – s naprostou depresí duše, kterou nemohu přirovnat k žádnému pozemskému pocitu lépe než k následnému snu libůstku nad opiem – hořké propadnutí do každodenního života – příšerný odpadnutí závoj. Byla tam ledovost, potopení, nevolnost srdce – nevykoupená bezútěšná myšlenka, kterou žádné pobídnutí představivosti nemohlo mučit do ničeho ze vznešených."
Poeův popis Domu Usherů vytváří atmosféru hrůzy, úpadku a útlaku a připravuje půdu pro události příběhu.