Agama Islam disebarkan ke Xi'an pada tahun 651 Masihi, iaitu zaman Dinasti Tang. Masjid Besar Xi'an juga dikenali sebagai Masjid Huajuexiang kerana ia terletak di lorong Huajue, barat laut Gerbang Gendang, iaitu salah satu tanda mercu bandar Xi'an.

Masjid Besar Xi'an dan Masjid Daxuexixiang merupakan dua buah masjid yang tertua di Xi'an. Oleh sebab Masjid Besar Xi'an terletak di sebelah timur Masjid Daxuexixiang, jadi ia juga selalu dipanggil masjid timur oleh penduduk tempatan.

Menurut catatan sejarah, Masjid Besar Xi'an ditubuhkan pada zaman Dinasti Tang, iaitu tahun 742 Masihi. Selepas ditubuhkan, masjid tersebut pernah beberapa kali diubahsuai dan diperbaiki pada zaman Dinasti Song, Yuan, Ming dan Qing. Jadi, terdapat artifak daripada pelbagai zaman dinasti di masjid tersebut.