Die Thanes (Grafen) of Cawdor erbauten und bewohnten die Burg ab dem 14. Jh. Seitdem wurden jedoch verschiedene Um- und Anbauten vorgenommen. Von der Zugbrücke aus bietet sich ein schöner Blick auf den Mittelturm aus dem 14. Jh. und die Flügel rechts aus dem 17. Jh. Zu der Burg gehören auch drei Gärten: der Walled Garden, ein Gemüsegarten, der Wild Garden, in dem man verschiedene Baumarten unterschiedlicher Herkunft findet, und der Flower Garden, der zu Frühlingsbeginn und am Ende des Sommers in seiner ganzen Pracht erstrahlt.