Das Museum wurde 1982 im ehemaligen Palast der Bischöfe von Cambrai (18. Jh.) eingerichtet. Zu dem Komplex gehört auch ein bemerkenswerter Park. Das Museum wurde ganz zu Anfang der 2000er Jahre komplett renoviert und um einen Bau aus Backstein und Glas erweitert. Die rund 170 Kunstwerke veranschaulichen die außergewöhnliche Farbpalette Matisse'. Besonders sehenswert sind das Zeichnungskabinett, die schönste Sammlung mit Zeichnungen von Matisse, die Sammlung des Kunstverlegers Tériade und die hervorragende Nachbildung eines Raums der Villa Natacha, in der die Familie Tériade ihre Künstlerfreunde empfing.