Tarikh pembinaan Rumah Berhala Jinci masih belum dapat dipastikan hingga sekarang ini. Catatan terawal tentang Rumah Berhala Jinci yang didapati pada masa ini terdapat dalam buku "Sungai-sungai" yang diterbitkan pada zaman Dinasti Wei Utara, iaitu dari tahun 466 hingga tahun 572 Masihi. Jika dihitung dari zaman Dinasti Wei Utara, Rumah Berhala Jinci sudah bersejarah lebih 1400 tahun. Dalam masa yang begitu panjang, Jinci pernah beberapa kali dibina atau dibaik pulih. Maharaja Dinasti Tang, Li Shimin telah mencemar duli ke Rumah Berhala Jinci pada tahun 646 dan bertitah untuk meluaskan kawasan binaan rumah berhala itu. Maharaja Dinasti Song juga telah membina Dewan Permaisuri untuk bonda Shu Yu yang bernama Yi Jiang. Kira-kira seratus buah bangunan dalam Rumah Berhala Jinci telah diatur dengan rapi dan munasabah, bukan sahaja bersesuaian dengan susunan pembinaan rumah berhala China, malah mempunyai corak kemegahan dalam pembinaan bangunan diraja China.