Die ehemalige Burg wurde seit 1536 nach den Plänen von T. Vincidor von Bologne verändert und war der bevorzugte Ruhesitz Wilhelms des Schweigers. Das heutige Aussehen erhielt das Schloss zwischen 1686 und 1695 unter dem stathouder Wilhelm III. von Oranien und nach den Plänen von Vincidor. Es ist riesengroß und mit vielen Fenstern versehen, von einem Graben umgeben und liegt versteckt hinter den Mauern der Het Spanjaardsgat. Seine Nordfassade wird von oktogonalen Erkertürmchen flankiert.