Unter den spanischen Habsburgern erlebte der Klosterpalast seine Glanzzeit und blühte dann erst wieder unter Karl III. und Karl IV. im 18. Jh. auf. Die beiden Dynastien bewohnten verschiedene Gebäudeflügel und prägten deren Stil. Nach den luxuriösen Bourbonenappartements mit Wandteppichen und Gemälden wirkt die Nüchternheit der Gemächer Philipps II. und der Infantin, deren Hauptschmuck eine Talavera-Kachelverkleidung und Gemälde sind, besonders stark.