Das Kastell wurde im 13. Jh. von den Visconti erbaut, ging aber bereits im Jahr 1449 an die heutigen Besitzer, die Familie Borromeo. Unter den möblierten und geschmückten historischen Sälen besticht besonders die Sala di Giustizia (Gerichtssaal), die mit herrlichen Fresken aus dem 14. Jh. verziert ist. Diese stellen Szenen aus dem Leben des Erzbischofs Ottone Visconti dar. Die Burg beherbergt auch ein Puppen- und Spielzeugmuseum, das zu den größten seiner Art in Europa zählt. Von der Torre Castellana genießt man einen weiten Rundblick.