Das Gebäude ist nicht nur ein Museum, sondern selbst Zeuge von zwei besonders tragischen Epochen der ungarischen Geschichte. 1944 war darin das Hauptquartier der ungarischen Nationalsozialisten untergebracht, und von 1945 bis 1956 beherbergte es den Sitz der ÁVO und der ÁVH, der kommunistischen Staatspolizei. Das heutige Museum will an die Greueltaten der Diktaturen erinnern und als ein Ehrenmal für die Opfer des Terrors angesehen werden.