Das prachtvolle Barockschloss ist das raffinierteste Bauwerk im Nordosten Schottlands und wurde um 1735 von William Adam für den Abgeordneten William Duff entworfen, der anschließend zum Grafen von Fife wurde. Das hervorragend restaurierte Duff House wurde zu Beginn des 20. Jh. verkauft, im Zweiten Weltkrieg als Militärlager benutzt und gehört heute zur Scottish National Gallery. Durch die Ausstellung zahlreicher Gemälde sowie geliehener Möbel und Objekte ist die Atmosphäre des Herrensitzes aus seiner Glanzzeit bis heute zu spüren.