Das Haus (1796) wurde von zwei Männern konzipiert, die das Stadtbild Bostons langfristig beeinflussen sollten: dem Architekten Charles Bulfinch und Harrison Gray Otis, Rechtsanwalt, Spekulant und Politiker. Die ersten drei Häuser, die Bulfinch für Otis auf Beacon Hill baute, waren im Federal Style gehalten und spiegelten den anspruchsvollen Geschmack der Oberschicht in der Anfangszeit der Republik wider. Ein palladianisches Fenster im zweiten Stock lässt die Fassade weniger streng erscheinen. Erlesene zeitgenössische Möbel, Stuck, handgemachte Einfassungen und eine Freitreppe schmücken das Innere des Hauses. Das Gebäude dient gleichzeitig als Museum und als Zentrale der Society for the Preservation of New England Antiquities, die seit 1910 insgesamt 36 Museen in fünf Bundesstaaten verwaltet.