In diesem Gebäude, einem wunderschönen Beispiel für die frühe Renaissance-Architektur, lebten früher die Herzöge von Nevers. Der Bau wurde im 15. Jh. von Jean de Clamecy, dem Grafen von Nevers, begonnen, der von der alten Festung, die sich damals auf dem heutigen Rathausplatz befand, genug hatte. Im Laufe der Zeit wurde der Palast von den Familien Clèves und Gonzaga verschönert. Die Türmchen, Höfe, festlichen Treppen, mit Karyatiden geschmückten Dachfenster und Kamine mit Orgelpfeifen haben einen ungemeinen Charme!