Rough Point ist nach dem 4 ha großen felsigen Grundstück benannt, auf dem es 1891 für Frederick W. Vanderbilt erbaut wurde. Das Gebäude im gotischen Stil wurde 1922 von James B. Duke, Tabakmagnat aus North Carolina und Gründer des Elektrizitätsunternehmens Duke Power, erworben. Nach dessen Tod im Jahre 1925 erbte sein einziges Kind, Doris, das Haus und die Kunst- und Antiquitätensammlung. Während der 68 Jahre, die das Gebäude in Doris Dukes Besitz war, erweiterte sie die Sammlung um eine Vielzahl europäischer Einrichtungsgegenstände und Portraits aus dem 16. bis 18. Jh. Das 37.000 qm große "Landhaus" blieb nach Doris Dukes Tod im Jahre 1993 fast unverändert und ist so das Denkmal ihres exquisiten Geschmacks.