Zgrada novosadske gimnazije “Jovan Jovanović Zmaj” je za 21. vek veoma značajno delo srpske arhitekture, te je stoga proglašena spomenikom kulture i nalazi se pod zaštitom države. Izgrađena je 1900. godine uz pomoć dobrotvora barona Miloša Bajića, unuka Miloša Obrenovića, na mestu nekadašnje Srpske pravoslavne velike gimnazije iz XIX veka, a prema projektu arhitekte Vladimira Nikolića. To je čini najstarijom gimnazijom u Novom Sadu.
Zgrada je izgrađena u obliku slova “P”, sa elementima klasične srpske romantičarske arhitekture. Jednospratna je građevina sa prizemljem i podrumom. Restauratorski radovi rađeni su 1984.,2003., 2005. i 2006. godine. Nalazi se u najstarijoj ulici u Novom Sadu, Zlatne grede pod brojem 4.
Učenicima su na raspolaganju 3 smera pri upisu: prirodno-matematički, društveno-jezički smer i smer za obdarene učenike matematičke gimnazije.