Das Museum befindet sich im dritten Bezirk, im Arsenal und wurde von Theophil Hansen aus Anlass der Revolution 1848/49 im Auftrag von Kaiser Franz Joseph errichtet. Bereits sechs Jahre nach Baubeginn wurde der riesige Gebäudekomplex in Betrieb genommen. In einem Teil davon befindet sich die dokumentierte Schau des österreichischen Militärwesens ab dem 16. Jahrhundert bis zur Jetztzeit. Das Museum untersteht direkt dem Ministerium für Landesverteidigung und ist in den letzten Jahren wegen dem Vorwurf des Geschichtsrevisionismus heftig diskutiert worden.
Das Gebäude selbst hat Anlehnungen an das Arsenal in Venedig sowie byzantinische und gotische Stilelemente. Man betritt das Museum durch die Feldherrenhalle, in der auf Sockeln 56 der „berühmtesten, immerwährenden Nacheiferung würdiger Kriegsfürsten und Feldherren Österreichs“ stehen, wie es in der kaiserlichen Entschließung hieß. Das Stiegenhaus wird durch die Figurengruppe „Austria“ bekrönt.
Die Sammlungen des Heeresgeschichtlichen Museums umfassen mehr als rund 1,5 Millionen Objekte.
