Das Museum wurde 1825 durch großzügige Schenkungen des aus Montpellier stammenden Malers François-Xavier Fabre (1766-1837) gegründet, der mehrere Sammlungen zusammen trug. Anschließend wurden die Sammlungen erweitert, vor allem durch Schenkungen lokaler Künstler, z.B. Bazille und Soulages. Heute besitzt das Museum über 900 Originalwerke (von über 7000 Werken). Das Museum zeigt die Sammlungen von der Renaissance bis zur Gegenwart in chronologischer Reihenfolge.