John Wise, der Gründer der Gadsby's Tavern baute dieses schöne spät-georgianische Backsteinhaus als sein Wohnhaus im Jahr 1797. Anfang des 19. Jh. wurde das Haus von mehreren bekannten Persönlichkeiten bewohnt. 1832 kaufte John Lloyd das Haus. Bis 1918 blieb es im Besitz der Familie Lloyd. 1976 wurde hier ein Teil der Bibliothek von Alexandria untergebracht.