Gradski muzej Sremska Mitrovica osnovan je 1946. godine, usko vezan za arheološke nalaze rimskog Sirmijuma, kojeg je Amijan Marcelin nazvao „majkom gradova“. Istovremeno, 1. maja 1946, otvoren je Muzej crkvene umetnosti u „Maloj crkvi“, jedan od prvih te vrste u Jugoslaviji. Krajem 1946, prema uputstvu pokrajinskih vlasti, formiran je Gradski muzej kompleksnog tipa s arheološkom, etnografskom, istorijskom, umetničkom i prirodnjačkom zbirkom, uključujući i Muzej crkvene umetnosti. Postavka je otvorena za javnost 1948.

Godine 1952, muzej je preimenovan u Muzej Srema, uz finansiranje Sreskog veća. Od 1953. uključuje Umetničku galeriju, lapidarijum, stalne postavke o istoriji Srema, komunističkim robijašima i „Rohalj bazi“. Od 1957, sistematska iskopavanja Sirmijuma, uz učešće istaknutih arheologa, učinila su muzej značajnim na muzejskoj mapi. Zbirka uključuje unikate poput zlatnika Konstantina Velikog, sunčanog sata iz I–II veka, zlatnog relikvijara iz V veka i avarske pojasne garniture iz VII veka, čime muzej ističe svoju prepoznatljivost.