Ova ustanova kulture osnovana je kao samostalni muzej odlukom Skupštine opštine Novi Sad 22.oktobra 1954. godine. Tada je svoju delatnost obavljao u zgradi Matice srpske kada je ona bila u ulici Narodnih heroja. Tri godine posle, Muzej grada se premešta na Petrovaradinsku tvrđavu gde se i sada nalazi. Cilj i osnovna delatnost ove ustanove kulture jeste da prikuplja, zaštiti, prezentuje i istraži multinacionalno kulturno nasleđe sa područja Novog Sada. U tome mu pomaže veliki broj profesionalnih stručnih saradnika, zaposlenih lica, ali i mogućnost korištenja visoke tehnologije za analizu eksponata i ostalog vrednog sadržaja. Odeljenje za konzervaciju i restauraciju vredno radi na tome, kao i na smeštaju predmeta, njihovom transportu od mesta pronalaska do muzeja i izložbenog prostora.
Muzej grada ima kompleksan karakter što znači da se u njegovom sastavu nalazi više objekata i depadanasa na teritoriji opštine Novi Sad. To su: Sedište muzeja Petrovaradinska tvrđava, Zbirka strane umetnosti (Stalna postavka – legat dr Branka Ilića) koja se nalazi na adresi Dunavska 29, Zavičajna zbirka Sremski Karlovci koja se nalazi u palati Ilion u Sremskim Karlovcima i Spomen zbirka „Jovan Jovanović Zmaj“ u Sremskoj Kamenici.
Sedište Muzeja grada poznato je još i pod nazivom Topovnjača ili Mamulina kasarna po objektu u kom se muzej nalazi. Tu se nalazi postavka „Petrovaradinska tvrđava u prošlosti“ koja obuhvata period od praistorije do Prvog svetskog rata, prikazujući vojni način života na ovom području. Na spratu muzeja izložena je „Studijska izložba Odeljenja za kulturnu istoriju“ gde posetioci mogu više saznati o građanstvu Novog Sada koje je živelo u periodu od XVIII do druge polovine XX veka. Predočen je način života kroz stilski nameštaj, umetničke predmete, fotografije, ali i slike Save Šumanovića, Boška Petrovića, Milenka Šerbana. Bogata kolekcija izloženih predmeta od kojih su i mnogi lični predmeti Novosađana, svedoče o putevima, porodicama, politici i ličnosti čoveka XVIII veka.
Verovatno najveća turistička atrakcija na ovom mestu, u okviru Muzeja i Tvrđave jeste pravi mali podžemni vojni grad odnosno podžemne vojne galerije. Uz stručnog vodiča Muzeja posetioci mogu da obiđu površinu od 16 kilometara u 4 podžemna nivoa koji predstavljaju podžemni minski sistem za odbranu. Ovaj sistem izgrađen je 1783.godine i pokazao se kao veoma efikasan u odbrani protiv Otomanske imperije. Tuneli vojne galerije rekonstruisani su u junu, 2009.godine, te se danas nalaze na listi mnogih turističkih agencija kao ponuda za neobičnu turu – šetnju podžemljem Novog Sada.
Zbirka strane umetnosti, stalna postavka – legat dr Branka Ilića, podrazumeva dela likovne i primenjene umetnosti sa teritorije Evrope i Azije nastale u periodu između XV i XX veka.
Zavičajna zbirka u Sremskim Karlovcima ima u svom sastavu arheološku, istorijsku, umetničku i etnološku zbirku sa 10 hiljada predmeta koji omogućuju posetiocima uvid u prošlost Sremskih Karlovaca. Zbirka se nalazi u rezidenciji barona Rajačića tj. u palati Ilion.
Spomen zbirka „Jovan Jovanović Zmaj“ nalazi se u piščevoj kući u Sremskoj Kamenici gde je boravio poslednjih godina svog života, a koja je prilagođena kao izložbeni prostor za posetioce 1933. godine. Kroz različite predmete, nameštaj i pisani materijal prikazani su život i delo Jovana Jovanovića Zmaja.
U sastavu Muzeja grada nalaze se Odeljenje za arheologiju, Odeljenje za istoriju, Odeljenje za kulturnu istoriju, Odeljenje za restauraciju i konzervaciju, Odeljenje za etnologiju i Zavičajna galerija.