Mit dem Bau dieser Kirche (Sv. Apastalu Petro ir Povilo Baznycia) wurde 1668 an der Stelle begonnen, an der die heidnische Göttin der Liebe Milda verehrt wurde. Es handelt sich um eine der schönsten Barockkirchen der Stadt. Ende des 17. Jh.s schufen die italienischen Bildhauer Giovanni Pietro Perti und Giovanni Maria Galli für die Kirche 2 000 Statuen aus weißem Stuck, die heute noch in der Kirche zu sehen sind.