Der Maler Ferdinand Bol, ein Schüler Rembrandts und berühmter Porträtmaler, war der Mieter dieses Hauses, das dem Kaufmann Van Raey gehörte. Seit 1884 war es im Besitz der Familie Van Loon, der Mitbegründerin der Ostindien-Kompanie, die auch das Museum einrichtete. Die schöne Innenausstattung und die Gemälde sind beeindruckend, ebenso der herrliche Treppenaufgang mit dem Geländer aus Kupferflechtwerk (2. Hälfte des 18. Jh.) und der kleine französische Garten, der einem Miniaturpark gleicht.