Franz Joseph I., ließ die „Villa Waldruh“ nach Plänen des Freiherrn von Hasenauer, 1882-86, für seine Ehefrau im östlichen Teil des Lainzer Tiergartens (heute 13. Bezirk), errichten. Schon 1885 wurde von ihr der Name aber auf Villa Hermes geändert. Der Bildhauer Herter wurde nämlich von Sisi direkt beauftragt, eine Hermes-Statue anzufertigen.
Die zur Villa führende heutige Hermesstraße war eine der ersten, die eine elektrische Beleuchtung erhielt. 1896 wurde auch Telefon in die Villa geleitet.
Nach dem Ersten Weltkrieg wurden der Lainzer Tiergarten und die Villa Staatseigentum. 1941 der Tiergarten zum Naturschutzgebiet erklärt. 1945-55 gehörte die Hermesvilla zur sowjetischen Besatzungszone und wurde von Soldaten schwer verwüstet. 1956 wurde das Gebiet in den 13. Bezirk aufgenommen.
Die Villa wurde 1968-74 umfassend renoviert und seither vom Wien Museum mit den verschiedensten Ausstellungen bespielt. Im Inneren der Villa gibt es einige Gemälde von Klimt und Makart.
Die Stallungen der Pferde der Kaiserin waren im linken Flügel des Hoftrakts untergebracht. Sie sind Großteils noch im Original vorhanden. Ab 1950 bis 2005 wurden die Stallungen auch als Sommerstall für die Lipizzanerhengste der Spanischen Hofreitschule genutzt. 1962 drehte hier Walt Disney „Die Flucht der weißen Hengste“.
