Die Burg aus Sandstein überragt die Stadt von der Anhöhe aus, auf der sich seit der Zeit der Sachsen eine Festung erhob. Sie wurde vom normannischen Baron Guillaume de Mohun errichtet. George Fownes Luttrell erbte den Besitz 1867 und beauftragte den Architekten Anthony Salvin, die Burg umzubauen und daraus ein befestigtes Herrenhaus im Stil der Zeit Jakobs I. zu machen.