Bereits im Mittelalter kam Varberg eine strategische Rolle zu. Die um 1280 auf einem Felsvorsprung gegründete Festung wurde im 14. Jh. erweitert und unter Magnus Eriksson zu einer königlichen Festung ausgebaut. Das heutige Bauwerk im italienischen Renaissancestil ist das Werk des Holländers Hans van Steenwinckel d. Ä. (1617). Von 1848 bis 1881 diente es als Gefängnis. Heute beherbergt es die Sammlungen des Hallands Kulturhistoriska Museum, darunter auch der Bockstensmann (14. Jh.), eine 1936 entdeckte Moorleiche.