Im 15. Jh. gehörte er zum Palais der Erzbischöfe von Rouen (daher der Name Rohan). Die drei malerischen Innenhöfe sind in einer Reihe angeordnet, der Renaissancebau im zweiten ist der ehemalige Wohnsitz von Diane de Poitiers.