1288 wurde der rote Turm das erste Mal urkundlich erwähnt, 1511 nach einem Angriff von Matthias Corvinius komplett umgebaut und Teil der Befestigungsanlage um Wien.
Hoch oben im Turm wurde eine Speckseite befestigt (angeblich nur aus Holz), darunter ein Schild:
Befind sich irgend hier ein Mann,
Der mit der Wahrheit sprechen kann,
Daß ihm sein Heyrath nicht grauen,
Und fürcht sich nicht für seiner Frauen,
Der mag diesen Backen herunter hauen.
Seit die Speckseite im Turm hing, gab es nur einen Mann, der einen kurzen Versuch machte, sie herunter zu holen. Da er jedoch bald befürchten musste, schmutzig zu werden oder sich gar seine Hose zu zerreißen und sodann von seiner Frau geschimpft zu werden, ließ er es unter dem Gelächter der Schaulustigen bleiben. Die Seite blieb bis Mitte des 18. Jahrhunderts an Ort und Stelle.
Zur Erinnerung an den roten Turm findet sich heute am Hause Rotenturmstraße Ecke Fleischmarkt ein Fliesenbild.
