Das Glebe House gilt als Geburtsstätte der Episkopalen Kirche in den USA und wurde ca. 1750 auf Pfarrland (für den Priester reserviertes Gemeindeland) gebaut. Mit seinem gebrochenen Dach ist es charakteristisch für die Bauart zur Zeit der Amerikanischen Revolution. Rund um das Haus wachsen üppige Lupinen und Stockrosen. Die Beete wurden in den 1990er Jahren nach Plänen der englischen Gärtnerin Gertrude Jekyll aus den 1920er Jahren angelegt, die seinerzeit nicht umgesetzt worden waren.