Urkundlich ist das Haus seit 1299 belegt, mit den verschiedensten Besitzern.
Das heutige Haus ist denkmalgeschützt und wurde 1761, in den Stilen des Rokokos, erbaut. Unter anderem waren Graf Khevenhüller und Graf Batthyány Besitzer. 1871 erwarb das Erzbistum Wien das Gebäude.
Am 7.12.1801 wurde Johann Nestroy hier geboren. Um 1889 gründete der aus Berlin stammende Kriminalkommissar Johann Müller die Detektei Helios, die die erste Detektei Europas war. Heute ist sie am Kohlmarkt 6 beheimatet.
Den Bau zieren offene Pawlatschengänge auf maskenbesetzten Konsolen mit Schmiedeeisengeländern. Ein steinerner Brunnen ziert den Hof. Im Obergeschoss befindet sich eine erst 1989 eingerichtete Hauskapelle des Militärbischofsamtes mit frühklassizistischem Tabernakelaufbau.