William de Warrene, einer der treuesten Verbündeten Wilhelms d. Eroberers, errichtete zunächst ein befestigtes, von einem Erdwall umgebenes Steinhaus. Der Bergfried wurde während der Bürgerkriege (1140) hinzugefügt.