Die Höhlen liegen am Anfang der Schlucht. Cox's Cave wurde 1837 und Gough's Cave 1890 entdeckt. Eine Reihe von Räumen folgt dem Lauf der unterirdischen Bäche durch das poröse Kalkgestein. Die Farben der Stalagmiten und Stalaktiten, der versteinerten Wasserfälle, der Spitzenvorhänge und Säulen hängen von den Mineralien im Kalkstein ab (Rostrot: Eisen, Grün: Mangan, Grau: Blei).