San Diegos erste Anlaufstelle für moderne Kunst wurde 1941 gegründet und befindet sich in Ellen Browning Scripps' renoviertem Haus (1916). Scripps beauftragte den Architekten Irving Gill mit dem Entwurf des Gebäudes, das den Mission Style und den Internationalen Stil in sich vereint. Gills ursprüngliches Design war nach der Renovierung 1960 kaum noch zu erkennen, doch durch die Arbeiten von Venturi, Scott Brown and Associates (1996) wurde die Fassade wieder aufgebaut und mehr Ausstellungsraum geschaffen. An der Rückseite erstreckt sich ein Skulpturengarten mit Blick über den Ozean. Das Museum, ein Vorreiter für Installationen, wechselt regelmäßig die ausgestellten Werke seiner wachsenden Sammlung von Gemälden, Skulpturen, Fotografien, Videoarbeiten und anderen Medien. Seine Stärken liegen in der minimalistischen und konzeptuellen Kunst. Das Museum stellt außerdem Werke aufstrebender kalifornischer Künstler wie John Baldessari, Chris Burden und Bruce Nauman aus.