Das Museum wurde im 19. Jh. auf einem früheren, 32 ha großen Landgut an einem Hügel außerhalb Torontos erbaut und umfasst ein historisches Haus und einen Garten, der über den verbliebenen 2,5 ha Land in einem modernen Wohnbezirk liegt. Die Steinvilla mit 50 Zimmern wurde vom Geschäftsmann James Austin und seinen Erben bewohnt, die das Gebäude an den jeweils vorherrschenden Architekturstil und die Größe der Familie anpassten. Austin erwarb das Landgut 1866 und ersetzte das Wohnhaus aus dem Jahr 1836 durch ein neues Haus im georgianischen Stil. Sein erfolgreicher Gemüsehandel hatte ihn zu einem Großaktionär und zum Direktor der Consumers' Gas Co. gemacht. Später gründete er die 1869 als Aktienbank eingetragene Dominion Bank und wurde ihr erster Präsident. Der Sohn von Austin fügte 1898 ein geräumiges Billardzimmer und 1907 die Terrassen und den Torweg hinzu. Der zweite Stock mit seinem Walmdach und den Gauben wurde 1912 gebaut. Das große Zeichenzimmer mit den gestreiften Sesseln, das die Pracht des viktorianischen und edwardianischen Stils wiedergibt, und das luftige, mit Weidenkorbmöbeln ausgestattete Palmenzimmer zeigen den Luxus, den die Austin-Familie genoss.