Die riesige Residenz (15 000 m2 Fläche) setzt sich aus dem Palais Vieux und dem Palais Neuf zusammen. Ersterer, ein wehrhafter, festungsartiger Bau, wurde 1334 für Benedikt XII. errichtet. Klemens VI., ein verschwenderischer Kirchenfürst und Künstler, beauftragte 1342 Jean de Louvres mit dem Palais Neuf. Die Tour de la Garde-Robe und zwei neue Gebäudeteile schlossen den Ehrenhof, bis dahin ein öffentlicher Platz, ab. Während sich äußerlich kaum etwas änderte, wurden die Innenräume von Künstlern unter der Leitung von Simone Martini und später Matteo Giovannetti prachtvoll ausgeschmückt.