Die Burg von Dieppe hat ein Mauerwerk aus abwechselnden Lagen von Feuer- und Sandstein und lehnt an einem wuchtigen Rundturm, der im 14. Jh. zu den Befestigungsanlagen der Stadt gehörte. Im Innern befindet sich ein Meereskunde- und Kunstmuseum. Unbedingt sehenswert ist die einzigartige Sammlung von Dieppe-Elfenbein, das äußerst minutiös von Schnitzern bearbeitet wurde, die sich in der Stadt niederließen, weil hier die aus Afrika oder Asien exportierten Elefantenstoßzähne ankamen. Außerdem werden interessante Gemälde (Isabey, Boudin, Pissaro, Sisley) zum Thema Dieppe sowie eine moderne Sammlung (Dufy, Lurçat) und Grafiken von Braque ausgestellt.