Mit umfangreichen Erweiterungsarbeiten wurden zwei Stadtpalais vereint: das Hôtel Mailly (17. Jh.) und das Hôtel Lazerne (18. Jh.), in dem Picasso, Chagall und Cocteau mehrmals wohnten. Das Museum wurde nach Hyacinthe Rigaud (1659-1743) benannt. Der Maler aus Perpignan wurde durch seine Porträts berühmt, insbesondere das Porträt von Ludwig XIV. im Krönungsgewand. Die schöne Gemäldesammlung umfasst Werke vom 15. Jh. bis zur Gegenwart.