Da sich Stadtförderer einen Touristenansturm auf die Pazifikküste ausmalten, handelten sie zur Wende des 20. Jh.s einen Vertrag mit der Canadian Pacific Railroad aus, wonach ein schneller Fährservice vom Festland nach Victoria sowie einige Hotels entstehen sollten. Das Projekt wurde 1904 gestartet und umfasste das Auffüllen des Watts (und später der übelriechenden Deponien der ansässigen Fabriken) östlich des heutigen Inner Harbour sowie den Bau eines Steindamm (die heutige Government Street). Der englische Architekt Francis Rattenbury entwarf den schlossartigen Bau des Empress Hotels, das später von mehreren Gebäudeflügeln umgeben wurde. Das Hotel mit seinen 116 Zimmern wurde 1908 feierlich eröffnet. Es wurde für seine Gärten, ihre Kübelpalmen, den Afternoon Tea und das großartige Abendprogramm bekannt. Hier stiegen häufig königliche Gäste, gefeierte Persönlichkeiten, wohlhabende Urlauber und Paare auf Hochzeitsreise ab. Im Jahr 1989 wurde das Hotel dann umfassend renoviert.