Kuil ini bercerita tentang keagungan dari toleransi keagamaan laksmana Cheng Ho, seorang Muslim yang menjadi tangan kanan Kaisar Yongle dari Tiongkok. Dari cerita ia merantau dari negeri Cina hingga sampai Semarang, laksmana Cheng Ho membangun Sam Poo Kong yang juga dikenal dengan sebutan Gedung Batu sebagai tempatnya beribadah dengan cara Islam. Namun karena perpaduan agama, para awak kapal yang mayoritas adalah Buddhist maupun penganut Taoisme, Klenteng inipun menjadi tempat mereka berdoa.

Karena bangunannya yang merah dengan arsitektur yang mengambil inspirasi dari Cina Daratan, Sam Poo Kong terdapat banyak patung Dewa Dewi dan juga tempat melihat keberuntungan masa depan dengan prosesi Ciam Si. Selain itu terdapat juga relief yang mengambarkan sejarah berlayarnya laksmana Cheng Ho.