Das herzogliche Schloss (Le Duché), das sich in der Stadt wie eine Festung erhebt, wurde nie angegriffen und ist deshalb nahezu unversehrt erhalten. Es zeugt vom Aufstieg der berühmten Familie der Herren von Uzès: Der Turm der Vizegrafschaft (Vicomté) mit seinem achteckigen Türmchen geht auf das 14. Jh. zurück; vom Bermonde-Turm, einem quadratischen Donjon aus dem 12. Jh., hat man einen schönen Blick auf die Stadt; und an die Renaissance-Fassade schließt eine gotische Kapelle an, die im 19. Jh. restauriert wurde... nicht zu vergessen die schön möblierten Gemächer!