Pi Pa sudah bersejarah lama di China. Kononnya pada Dinasti Tang, iaitu kira-kira abad ke-7, pensyair tersohor, Bai Juyi semasa berjalan-jalan menyusuri tebing sungai, terdengar bunyi Pi Pa yang dimainkan oleh seorang wanita. Irama itu sungguh merdu sehingga membuatkan hati beliau tergerak untuk menulis sajak. Maka, lahirlah sajak panjang yang bertajuk "Lawatan Pi Pa".

Pi Pa menjadi popular pada lebih 1000 tahun yang lalu. Pada hakikatnya, Pi Pa yang kita sebut kini bukan berasal dari China, tetapi berasal dari Parsi. Alat muzik ini tersebar ke kawasan yang berhampiran dengan Wilayah Autonomi Uygur Xinjiang, bahagian barat China pada abad ke-2 atau ke-3. Kemudian, ia dibawa oleh pedagang tempatan ke bahagian tengah.