Das Aiken-Rhett House wurde nicht wie viele andere historische Wohnhäuser in Charleston restauriert und in seinen früheren glamourösen Zustand zurückversetzt, sondern sieht heute noch so aus wie um 1860. Das einzeln stehende Backsteinhaus wurde 1817 im Federal Style erbaut und von der Familie Aiken gekauft, die es nach und nach umbaute und vergrößerte. Die Zeit hat hier sichtbare Spuren hinterlassen, vor allem an den verbliebenen Original-Möbelstücken, doch dies macht den Charme des Anwesens aus. Zu den Nebengebäuden hinter dem Haus aus dem Jahr 1817 gehören die Sklavenquartiere, die Gartenhäuser und die Aborte.