Klenteng sendiri adalah sebutan untuk bangunan peribadatan umat Tridharma yang terdiri dari penganut agama Budha, Kong hu cu dan Taoisme. Meski pada perkembangannya tiap-tiap agama tersebut memiliki bangunan peribadatan masing-masing, umumnya orang Indonesia lebih mengenal nama Klenteng. Klenteng Sam Poo Kong di Semarang sangatlah unik karena memiliki nilai sejarah yang berhubungan dengan Laksamana Cheng Ho, seorang pelaut Muslim dari Cina yang terkenal dengan perjalanan muhibahnya ke berbagai penjuru dunia dengan membawa misi damai. Keunikan lainnya adalah pengguna Klenteng Sam Poo Kong ini tidak hanya umat Tridharma saja melainkan hampir semua umat beragama.

Bangunan klenteng merupakan bangunan tunggal beratap susun. Berbeda dengan type klenteng yang ada di Pecinan, klenteng ini tidak memiliki serambi atau balai gerbang yang terpisah, di bagian tengahnya terdapat ruang pemujaan Sam Po.

Menurut cerita, saat Laksamana Cheng Ho berlayar melewati Laut Jawa ada seorang awak kapalnya yang sakit yaitu Wang Jinghong atau nama lainnya Dampo Awang atau Kiai Jurumudi Dampo Awang. Cheng Ho memerintahkan membuang sauh, kemudian merapat ke pantai utara Semarang dan mendirikan sebuah masjid di tepi pantai yang sekarang telah berubah fungsi menjadi Klenteng. Bangunan itu sekarang berada di tengah kota Semarang diakibatkan Pantai Utara Jawa selalu mangalami pendangkalan karena sedimentasi sehingga lambat-laun daratan akan semakin bertambah luas ke arah utara.

Saat mendarat di Pelabuhan Simongan (Kali Semarang sekarang), Cheng Ho memerintahkan mendirikan masjid dan klenteng. Sekarang menjadi Klenteng Gedong Batu. Ketika sampai di darat Cheng Ho menemukan sebuah gua batu yang akhirnya digunakan bersemedi dan bersembayang. Karena merasa nyaman di daerah tersebut, ia memutuskan untuk beberapa waktu beristirahat di tempat tersebut. Selama menetap dia mengajarkan penduduk bersawah dan berladang. Kemudian ia melanjutkan pelayarannya, tetapi banyak awak kapal yang menikah dengan penduduk setempat dan menetap di daerah Simongan sehingga sampai sekarang di daerah Simongan banyak dihuni oleh keturunan Tiongkok. Untuk mengenang jasa-jasa Laksamana Cheng Ho, penduduk setempat membangun sebuah Klenteng di sekitar gua Batu tempat semedi Laksamana Cheng Ho tersebut.

Klenteng Sam Poo Kong merupakan Klenteng Agung agama Budha. Terletak di Gedong Batu, Simongan, Semarang. Disebut Gedong Batu karena bentuknya merupakan sebuah Gua Batu besar yang terletak pada sebuah bukit batu. Karena kaburnya sejarah, orang Indonesia keturunan China menganggap bangunan itu adalah sebuah Klenteng karena bentuknya berarsitektur China sehingga mirip sebuah Klenteng. Sekarang tempat tersebut dijadikan tempat pemujaan, bersembahyang, serta tempat berziarah. Untuk keperluan tersebut, di dalam gua batu itu diletakkan sebuah altar, serta patung-patung Sam Po Tay Djien. Awalnya di tempat ini hanyalah berupa gua yang di dalamnya terdapat sebuah altar yang digunakan bersama oleh Cheng Ho yang Muslim sebagai tempat shalat dan pengikutnya yang beragama lain. Saat Cheng Ho melanjutkan perjalanannya, gua tersebut tertimbun tanah longsor pada 1704 dan sebagai penghormatan terhadap Cheng Ho, masyarakat setempat menggali kembali serta membangun altar yang dilengkapi dengan patung Cheng Ho beserta pengawalnya. Gua ini biasa digunakan sebagai tempat meramal nasib yaitu dengan menggunakan tongkat-tongkat kecil yang bertuliskan angka.

Klenteng Sam Poo Kong dipengaruhi oleh dua jenis kebudayaan abad ke-14, yaitu kebudayaan Cina sebagai sumber dari nilai-nilai keagamaan dan tata cara prosesi sembahyang yang dibawa oleh Laksamana Cheng Ho dan masyarakat Tiong hoa yang tinggal dan menetap di daerah Pulau Tirang (nama kota Semarang pada waktu itu) serta kebudayaan lokal Jawa pedalaman yang berpengaruh pada bentuk fisik bangunan Klenteng.

Komplek Sam Poo Kong dipercaya sudah berdiri sejak abad ke-15, setelah kedatangan Sam Po Tay Djien (Cheng Ho) di Jawa dengan mengemban misi menjamin persahabatan. Pendaratan tersebut dilakukan di Simongan. Pada Oktober 1724 diadakan upacara besar-besaran sebagai ungkapan terima kasih kepada Cheng Ho yang telah melindungi penduduk dari mara bahaya, sekaligus memperingati pendaratannya. Dua puluh tahun sebelumnya diberitakan bahwa gua yang dipercaya sebagai tempat tinggal Sam Po dulu runtuh disambar petir. Tak berselang lama gua tersebut dibangun kembali dan di dalamnya ditempatkan Sam Po dengan empat anak buahnya yang didatangkan dari Tiongkok. Pada perayaan tahun 1724 tersebut telah ditambahkan bangunan emperan di depan gua. Perbaikan pertama disusul oleh perbaikan kedua pada tahun 1879 yang diprakarsai dan dibiayai oleh hartawan Oei Tjie Sien (ayah Oie Tiong Ham) yang telah mengambil alih pemilikan kawasan tersebut dari Hoo Yam Loo, pemegang pakta madat yang merugi. Tidak begitu jelas apa saja yang ditambahkan pada pemugaran kedua ini, hanya setelah selesai maka komplek tersebut dibuka untuk umum. Pada tahun 1937 atas prakarsa Lie Hoo Soen komplek Sam Po dipugar kembali. Kemudian diadakan beberapa penambahan, yaitu gapura, taman suci dan selasar (Pat Sian Loh) yang menghubungkan Klenteng Sam Po dengan makam Kyai Jurumudi.