Der Name des Schlosses ist eng mit König Friedrich VII. und seiner morganatischen Gemahlin, der Gräfin Danner, verbunden, die er in dritter Ehe heiratete und der er das Anwesen vermachte. Die Gräfin schenkte es einer wohltätigen Institution für notleidende Mädchen. Sie wünschte, dass der Südflügel aus dem 17. und 18. Jh., in dem sie mit dem König residierte, erhalten bleibt und der Öffentlichkeit zugänglich gemacht wird. Der Nordflügel stammt aus dem 15. Jh., während der imposante Treppenturm von Christian IV. hinzugefügt wurde. Ein dritter Flügel wurde später erbaut.