Die im 11. und 12. Jh. erbaute Burg gehörte zum Besitz der Bischöfe von Winchester. Während des Bürgerkriegs mussten Taunton und seine Burg drei Belagerungen standhalten. Ein Teil des Gebäudes beherbergt nun das Museum of Somerset, das der Geschichte der Grafschaft gewidmet ist.