Das Palais wurde 1670 als neuer Flügel der Benediktinerabtei Saint-Georges (11. Jh.) errichtet. Nach der französischen Revolution diente es als Kaserne und trägt heute noch auf seiner langen Fassade mit 18 Arkaden den Namen der Äbtissin Magdelaine de La Fayette, die den Bau initiiert hatte. Vor dem Palais liegt ein schöner französischer Park, den man betreten kann.