Dort, wo heute die Ortenburg steht, befand sich ab dem Jahr 600 eine Burg, die im 10. Jh. von Heinrich I. ausgebaut wurde, um seine Grenzen zu schützen. Die Burg wurde im 15. Jh. von Matthias Corvinus, dem König von Ungarn, im spätgotischen Stil wieder aufgebaut, nachdem sie durch zwei verheerende Brände zerstört worden war. Im Turm des Nordflügels ist noch heute ein Relief erhalten, auf dem dieser König dargestellt wird. 1698, mitten in der Barockzeit, wurden drei Renaissancegiebel hinzugefügt!