Das Museum wurde 1903 in dem ehemaligen Hôtel de Rohan-Guéménée eingerichtet, das Anfang des 17. Jh. erbaut wurde. Victor Hugo, der von 1832 bis 1848 in dem Gebäude lebte, schrieb hier insbesondere seine Tragödie Ruy Blas. Die Umbauarbeiten sehen einen neuen Besichtigungsrundgang, den Zugang zum Garten sowie einen Teesalon vor.