Die Altstadt ist einer der größten unter Denkmalschutz gestellten historischen Distrikte der USA. Hier stehen einfache Gebäude wie die Holzbauten der Conch Houses, aber auch hübsch verzierte viktorianische Villen, Gebäude im Stil der Bahamas und elegante neuklassizistische Villen, die im 19. Jh. von Seefahrern aus Neuengland gebaut wurden. Die letztgenannten wurden mit einem für die Gegend einzigartigen Stilelement von den westindischen Inseln, der "Augenbraue" ausgestattet. Dabei handelt es sich um ein überhängendes Dachgesims an den Fenstern im ersten Stock, das an eine Augenbraue über blinzelnden Augen erinnert.