Dieses Haus wurde um 1700 zwischen Schrankgasse und Stiftsgasse am Spittelberg errichtet und dazumal „Zu den 3 Herzen“ benannt, später nach einem in dem Haus geborenen Maler Amerling.
Im Sommer 1975 wurde das Gebäude wie etliche andere Biedermeierhäuser am Spittelberg von jugendlichen Hausbesetzern okkupiert, um den Abriss zu verhindern. Nach heftigen Verhandlungen mit der Stadt wurde eine Renovierung zugesagt. Seit 1978 wurde es als Kulturzentrum zur allgemeinen Nutzung von der Stadt übergeben. Mehr als 50 Gruppen sowie ein Restaurant und das Bezirksmuseum (das seinen Namen nicht verdient, da fast alle Exponate aus einem vor Jahren unversperrten Depot von Unbekannten gestohlen wurden) nutzen heute das Gebäude.