Der Palast setzt sich aus vier Herrschaftshäusern zusammen. Die wappengeschmückten Fassaden von zwei gotischen Gebäuden aus dem 14 Jh. erheben sich an der Plaza Dávila, die beiden anderen, die zum bischöflichen Palast gehören, liegen an der Plaza del Rastro.