Pai Xiao telah bersejarah lebih 4000 tahun di China. Pada masa itu, ada orang mendapati bahawa semasa angin bertiup, teberau yang telah terputus dapat mengeluarkan bunyi yang unik. Mereka menyambungkan beberapa batang teberau dan membuat sejenis alat muzik yang dinamakan Wei Yue, iaitu Pai Xiao yang terawal di China.
Pada dahulunya, Pai Xiao hanya kelihatan pada gambar dinding atau ukiran kuno China. Hingga tahun 1978, dua buah Pai Xiao kuno ditemui di dalam makam Zenghongyi yang telah bersejarah lebih 2400 tahun di Kaunti Sui Provinsi Hubei China.
Selain China, di Romania juga terdapat sejenis alat muzik yang hampir sama dengan Pai Xiao China.