Mit dem Bau dieses befestigten Palasts ließ Durand de Beaucaire 1254 oder 1265 beginnen. Bernard de Castanet machte daraus eine Festung mit einem massiven Donjon, die man vom Fluss aus gut sehen kann. Mit der Zeit verlor die Festung jedoch ihren wehrhaften Charakter (der Wehrgang wurde in eine reizvolle, schattige Promenade umgewandelt) und wurde ein richtiger Palast, in dem sich seit 1922 das Toulouse-Lautrec-Museum befindet.