Ursprünglich standen anstelle des heutigen Gebäudekomplexes, viele kleine Häuser, die durch die Aufhebung der Judenstadt, 1421, von Herzog Albrecht V. beschlagnahmt wurden.
1710-1714 entstand der Neubau mit Front in die Wipplingerstraße durch Fischer von Erlach. Früher standen auf der Attika noch Statuen der Böhmischen Könige, die jedoch verloren gingen. Durch ein Bombardement im Mai 1809 erlitt das Gebäude schwere Schäden, sodass es danach umfassend renoviert werden musste.
Im 20. Jahrhundert waren zeitweilig das Innenministerium, das Landwirtschaftsministerium, der Sitz des Bundesgerichtshofes, die Generaldirektion der österreichischen Salinen und Senate des Reichsverwaltungsgerichts untergebracht.
Im März 1945 wurde das Gebäude durch Bomben schwer beschädigt, jedoch 1946-51 wieder aufgebaut. Seit 1946 ist es der Sitz des Verwaltungsgerichtshofes. Auch der Verfassungsgerichtshof war bis 2012 hier untergebracht, befindet sich jetzt auf der Freyung 8.
Zuletzt erfolgte in den 1960er Jahren eine Generalsanierung.
