Die romanische St. Peterskirche wurde 1048 errichtet und ist eine der vier einst im Kreuz um die Kathedrale, damals noch St-Martinskirche, angeordneten Kirchen, die der Bischof Bernold (1027-1054) erbauen wollte. An der Wand vor dem Chor sind vier Basreliefs im Maasstil (um 1170) zu erkennen, die bei der Restaurierung der Kirche wieder gefunden wurden. Die Krypta enthält den Sandsteinsarkophag des Bernold, des Stifters der Kirche.