Die erste Burg wurde von Robert Kurzhose, einem Sohn Wilhelms des Eroberers, Ende des 11. Jh. errichtet. Einziger Überrest ist der Hauptturm der späteren Burg aus dem 12. Jh. Von diesem massiven Bauwerk hat man einen herrlichen Blick auf die Stadt, den Fluss und die Landschaft in der Ferne. 1848 wurden die Eisenbahnschienen, die zu dem mit vielen Bögen überwölbten Hauptbahnhof führen, ohne Skrupel mitten durch die Burganlage gelegt. Seitdem ist der Hauptturm vom malerischen Black Gate abgeschnitten.