The Hermitage wurde für Andrew Jackson (1767-1845), den Militärhelden Tennessees und 7. Präsidenten der USA aufgebaut und war in ihrer Blütezeit eine fast 500 ha große Plantage mit Baumwollfeldern, edlen Pferden und illustren Besuchern. Jackson selbst war eine umstrittene Persönlichkeit mit dem Spitznamen "Old Hickory" (ein hartes Holz), da er standhaft zu seinen Soldaten hielt. Er war zwei Legislaturperioden (1829-37) im Amt. Gemeinsam mit seiner Frau Rachel ist er im Garten des Anwesens beerdigt.