Anfang des 13. Jh. war das Gebäude der Bischofssitz des Bistums Moray. Nach dessen Verlegung nach Elgin wurde es von den Prälaten als Residenz genutzt. Erhalten ist hier unter anderem der sogenannte David's Tower, ein sechsstöckiger Bergfried mit fast 2.7 m dicken Mauern.