Die ab dem Ende des 13. Jh.s errichtete Kirche birgt - am Hauptaltar - ein Gemälde von Dorfmeister, dem Meister barocker Malerei, der in Sopron lebte. Der Kapitelsaal ist ein schöner Saal mit Spitzgewölbe, dessen Rippen bis zum Fuß der Säulen hinabreichen. Ihren Namen verdankt die Kirche vermutlich den an mehreren Stellen sichtbaren Skulpturen, die Köpfe von Ziegen und eines Geißleins darstellen, oder auch der Legende, wonach ein Ziegenhirt eines Tages einen Schatz fand und einen Teil davon für den Bau des Gotteshauses stiftete.