Sejak zaman Batu Baru, nenek moyang orang China telah hidup di Kaifeng. Maharaja Zhu, maharaja generasi ke-7 Dinasti Xia, iaitu dinasti yang memerintah dari abad ke-21 hingga abad ke-16 sebelum Masihi, telah memindahkan ibu negara Dinasti Xia ke Laoqiu, iaitu Kaifeng. Nama bandar ini ditukar kepada Kaifeng oleh Maharaja Jing dalam Dinasti Han pada tahun 156 sebelum Masihi. Selepas itu, pemerintah beberapa dinasti yang lain, seperti Negeri Wei pada zaman Negeri-negeri Berperang, Dinasti-dinasti Hou Liang, Hou Zhou, Song dan Jin telah menjadikan Kaifeng ibu negara mereka. Bandar Kaifeng telah mencapai perkembangan besar pada zaman Dinasti Song, yang wujud dari tahun 960 hingga tahun 1279, dan menjadi ibu negara dinasti itu selama 168 tahun. Pada waktu itu, Bandar Kaifeng telah mempunyai bandar luar, bandar dalam dan kota istana diraja. Jumlah penduduknya ketika itu mencecah lebih 1.5 juta orang. Banyak tokoh ternama dalam sejarah yang dihormati oleh rakyat China, seperti Bao Zheng, pegawai kanan zaman Dinasti Song yang menjunjung keadilan sosial serta berani mendakwa dan menghukum pegawai yang menyalahgunakan kuasa dan melakukan jenayah; tiga generasi hulubalang lelaki dan wanita daripada keluarga Yang yang terkorban satu demi satu dalam perang melawan pencerobohan luar pada zaman Dinasti Song; Wang Anshi, pegawai kanan kerajaan Dinasti Song yang giat menjalankan pembaharuan; Yue Fei, pahlawan bangsa China yang melawan pencerobohan luar pada zaman Dinasti Song dan dihormati oleh rakyat China, telah meninggalkan legenda mereka di Kaifeng. Jasa yang dicurah oleh mereka dipuji turun-temurun oleh orang China, baik di dalam negeri ataupun di seberang laut.

Kebudayaan tradisional yang cemerlang dalam sejarah telah dilahirkan di Bandar Kaifeng. Banyak penyair yang terkenal pada zaman purba China telah melukiskan pemandangan yang indah dan mencatat adat resam yang istimewa di bandar itu dalam sajak mereka.