Der Legende nach geht der Name auf die Zeit der Kreuzzüge zurück: Damals soll der Burgherr, der alleine im Kreise seiner Untertanen zurückgeblieben war, wegen seiner übertriebenen Zuneigung zu den einsamen, weiblichen Geschöpfen darunter umgekommen sein. Als sich seine Seele in den Himmel erhob, soll man über dem Schloss einen riesigen Bock gesehen haben, daher der Name Castelbouc (Bocksburg). Die Ruine steht auf einem hohen Felsen über einem kleinen Dorf am Tarn, dessen Häuser sich an die Felswand schmiegen.