Die Burg wurde unter dem Habsburger Rudolf I. 1279 urkundlich das erste Mal erwähnt. Baubeginn war jedoch schon in der ersten Hälfte des 13.Jahrhunderts unter dem Babenberger Herzog Leopold VI. Die Burg war ursprünglich eine Wehrburg und Teil der Stadtbefestigung.
Die quadratische Anordnung der Burg entspricht dem Schweizerhof inklusive Hofburgkapelle und geistlicher und weltlicher Schatzkammer. Über den Burggraben, durch das rot-schwarze Schweizertor, auf dem Kaiser Ferdinand I. aufgezählte Insignien des Vliesordens abgebildet sind, gelangt man in den Schweizerhof. Links in einer Nische des Tores befindet sich der 1552 errichtete Schweizerhofbrunnen. Der Brunnen bildete den Wasserleitungsabschluss von 1534. Die Leitung führte von St. Ulrich (7.Bezirk) hierher. Unterhalb, im Keller, befand sich lange Zeit die Hofküche.
Der Name Schweizerhof kam von den Schweizer Söldnern, die zur Zeit Franz I. Stephan und Maria Theresias, die Torwache stellten.
Vom Hof erreicht man heute über die Säulenstiege das Bundesdenkmalamt mit dem Ahnensaal mit sämtlichen Habsburgerportraits.
