Dość spory i rozpoznawalny gmach. Budynek został wzniesiony pod koniec pierwszej połowy XIX wieku, zgodnie z powszechną wówczas architekturą. Zabytek pod stałą opieką konserwatora.
Otoczony jest zielonym terenem. Elewacja odpowiada kolorystyce portowej, jak i klasycystycznej. Już od samego początku łatwo jest skojarzyć, czym zajmował się założyciel miasta. Przed głównym wejściem, widnieje tablica z informacją o przeznaczeniu budynku. Przy drodze do wejścia znajdują się cztery ławki, kwietniki i latarnie, które wieczorem oświetlają drogę.
Budynek posiada dwa wysokie piętra. Tuż po wejściu do środka można natrafić na recepcję znajdującą się po prawej stronie. Za nią jest przejście służbowe dla pracowników i ochrony, natomiast naprzeciw recepcji znajduje się szatnia i toalety dla odwiedzających.
Zainteresowani mają możliwość zakupu biletu wraz z obecnością przewodnika, który opowie historię założyciela i jego rodziny. Mogą również wypożyczyć za odpowiednią sumę słuchawki z nagranymi informacjami. Zdecydowanie rzadziej nadarza się okazja, kiedy odwiedzający mogą spotkać się z członkiem rodziny założyciela.

Działy w muzeum dotyczą ogólnie miasta, jak i samej rodziny. Ten pierwszy  obfituje w zdjęcia, plany miasta, jak i różnego rodzaju informacje.
Długi korytarz przedstawia oś czasu, na której umieszczone zostały fotografie - czy to portu, czy wznoszonych z upływem miesięcy budynków. Między innymi przewijają się nowe i stare kawiarnie, kultowe miejsca czy odwiedziny znanych osób.
Druga część muzealna jest bardziej spersonalizowana. Dotyczy ona bowiem samego założyciela, jak i członków rodziny. Tu również na ścianach wiszą fotografie mężczyzny oraz jego bliskich, ale także miejsce zamieszkania, miejsce pochówku. Po drugiej stronie tego korytarza są okna, a pod nimi ustawione zostały gabloty; te zawierają liczne pergaminy i zapiski. Między innymi dokument potwierdzający założenie miasta, pergamin z informacją o złożeniu  Astor Fur Company czy też kopie oryginałów co większych przedsięwzięć dla tego miasta.
Żeby dowiedzieć się o innych członkach rodziny, należy ponownie iść wzdłuż korytarza, jako że uwzględniane są fotografie osób będących potomkami Astora. Na samym końcu holu powstało drzewo genealogiczne rodziny. Wieczorem jest ono oświetlone. Obecnie żyjącymi potomkami Johna Jacoba Astora są: John IV Astor i jego dwaj synowie Christian oraz Thomas, który został wydziedziczony.

Dwa razy do roku w muzeum organizowane są przyjęcia. Jedno z okazji Dnia Założyciela, a drugie w ramach imprezy charytatywnej przygotowywanej przez rodzinę Astor.
Pozostałymi i niedostępnymi pomieszczeniami jest magazyn, biura, warsztat i skarbiec.
Muzeum otwarte jest w dni robocze w godzinach 10-20, zaś w weekend 12-17.