Batu bersurat mempunyai kedudukan yang amat penting dalam kebudayaan tradisional China. Pada zaman purba, orang China sentiasa mengukir tulisan atau simbol pada batu sebagai memperingati atau untuk menandakan sesuatu peristiwa atau sejarah. Batu ini disebut batu bersurat.

Muzium batu bersurat Xi'an ini sebenarnya tempat koleksi batu bersurat pada zaman purba China. Ia bukan muzium yang dibina pada zaman moden ini, sebaliknya ia sebagai tempat menyimpan dan mengumpul batu bersurat dah lama ada. Menurut catatan, ia sudah bersejarah lebih 900 tahun.

Pada tahun 1087 Masihi, kerajaan Dinasti Song Utara yang memerintah pada waktu itu telah mengarahkan untuk memindahkan banyak batu bersurat yang terkenal dan bernilai ke Xi'an. Itulah asal usul muzium ini. Melalui usaha pembaikan dan pembinaan lanjut pada zaman Dinasti Jin, Yuan, Ming dan Qing, muzium batu bersurat ini terbentuk.