Mesjid Agung terkenal karena arsitekturnya yang menggabungkan pengaruh dari Jawa, Islam, dan Yunani. Ciri khas Jawa dari Mesjid ini terlihat dari atap limasan yang ujungnya terlekat kubah dengan diameter 20 meter dan 4 menara yang menjaga kubah sekelilingnya. Di depan mesjidnya juga terdapat joglo khas dan bedug raksasa yang menjadi keistimewaan tradisional Jawa.

Selebihnya pengaruh arsitektur yang cukup berkesan adalah payung-payung raksasa yang mirip dengan arsitektur di Mesjid Nabawi, Madinah. Hanya saja, payung ini dibuka disaat perayaan keagamaan yang khusus. Yang menarik lainnya adalah di lantai satu menara juga terdapat stasiun Radio Dais Majt dan lantai 2 menara terdapat Museum Perkembangan Islam di Jawa Tengah.