Die Vierturmanlage wurde von Peter II. von Savoyen nach der Eroberung Yverdons im Jahre 1259 auf den Grundmauern einer früheren Burg errichtet. Heute beherbergt sie ein lokalgeschichtliches Museum mit einem Bereich, der dem Schweizer Pädagogen Johann Heinrich Pestalozzi (1746-1827) gewidmet ist. Dieser illustre Lehrer kümmerte sich um die Erziehung armer Kinder und setzte vor allem hier in Yverdon seine Theorien in die Praxis um.