Die elegante Anlage mit ihren schönen Gärten war die offizielle Residenz der Lords Wardens of the Cinque Ports (Gouverneur der Fünf Häfen, d.h. Dover, Hastings, Hythe, Sandwich und New Romney).