Rumah Berhala Jinci sudah bersejarah lama. Maharaja Wu, iaitu maharaja pertama Dinasti Zhou, yang wujud antara tahun 1046 sebelum Masihi hingga tahun 256 sebelum Masihi, mangkat selepas 2 tahun baginda menggulingkan Dinasti Shang. Putera Mahkota Ji Song naik takhta dan dinobatkan menjadi Maharaja Cheng. Pada masa itu, Maharaja Cheng ini masih kecil. Jadi, setiap hari apabila baginda diziarahi oleh para putera dan pembesar, baginda didukung oleh Pemangku Raja Zhou Gong. Zhou Gong selaku pemangku raja berusaha sedaya-upaya untuk mentadbir kerajaan Dinasti Zhou bagi pihak Maharaja Cheng. Beliau membantu Maharaja Cheng beberapa kali membanteras pemberontakan dan dengan bersungguh-sungguh mengasuh Maharaja Cheng yang masih kecil itu.
Pada suatu hari, Maharaja Cheng dan adik lelakinya Shu Yu bermain-main di pekarangan belakang istana diraja. Maharaja Cheng memberikan sehelai daun pokok payung China kepada adiknya, dan berkata, "Beta melantikmu sebagai raja dengan daun pokok ini". Hal ini diketahui oleh Zhou Gong. Beberapa hari selepas itu, Zhou Gong meminta Maharaja Cheng mengadakan upacara rasmi bagi melantik adiknya sebagai Putera Mahkota. Maharaja Cheng menyatakan bahawa baginda hanya berolok-olok dan bergurau dengan adiknya. Zhou Gong dengan serius berkata, "Maharaja tidak boleh bergurau. Titah yang dikeluarkan oleh maharaja telah dicatatkan oleh setiausaha, dibaca dan dinyanyikan oleh pegawai dan disanjung oleh pembesar." Menurut pendapat Zhou Gong, Maharaja Cheng telah melantik adiknya sebagai Putera Mahkota di Negeri Tang. Cerita ini terkenal dalam sejarah China.
Setelah adik lelaki Maharaja Cheng, Shu Yu remaja, beliau telah pergi ke Negeri Tang. Dalam masa menjalankan pentadbiran di Negeri Tang, Shu Yu menggalakkan perkembangan pertanian dan membina tali air, sehingga rakyat jelata di Negeri Tang cukup makan dan pakai dan bahagia. Beliau disanjung tinggi oleh rakyat jelata tempatan. Negeri Tang pada masa itu adalah Wilayah Yicheng, Provinsi Shanxi pada masa sekarang. Kemudian, Xie Fu, anak lelaki Shu Yu telah menukar nama Negeri Tang menjadi Negeri Jin kerana Sungai Jin di situ amat bermanfaat kepada rakyat jelata tempatan jenerasi demi jenerasi dan Shanxi juga dinamakan Jin. Demi memperingati dan memuja Shu Yu, Rumah Berhala Jinci telah dibina di punca Sungai Jin.
