Die geräumigen, renovierten Ziegelgebäude einer Fabrik aus dem 19. Jh. inklusive Uhrturm sind die ideale Heimat für diese weitläufige Sammlung moderner Kunst und bieten auch großen zeitgenössischen Installationen genug Platz. Die kleinen Innenhöfe und endlosen Räume mit Holzböden beherbergen Kunstwerke, die bisher aufgrund ihrer Größe und ihres Gewichts nicht ausgestellt werden konnten und so der Öffentlichkeit nicht zugänglich waren. Eine der 19 Galerien hat die Länge eines Football-Feldes (Gebäude 5), und eine andere ist 12 m hoch (Gebäude 4). Der 5 ha große Gebäudekomplex im Stadtzentrum von North Adams ist das bisher größte Zentrum zeitgenössischer bildender und darstellender Kunst in den USA.