Masjid-masjid di Xi'an saling berdekatan. Umpamanya kira-kira 8 buah masjid terletak di kawasan pusat kota lama Xi'an, termasuk Masjid Besar Xi'an, Masjid Xiaopiyuan, Masjid Dapiyuan, Masjid Daxuexixiang, Masjid Xiaoxuexixiang, Masjid Beiguangjijie, Masjid Kuno Sajinqiao dan Masjid Barat Sajinqiao.

Masjid Xiaopiyuan juga dipanggil sebagai masjid utara kerana ia terletak di utara Masjid Besar Xi'an. Menurut batu bersurat yang ditemui dalam masjid tersebut, masjid ini dibina pada zaman Dinasti Yuan, iaitu kira-kira 1312 Masihi dan diperbaiki pada zaman Dinasti Ming semasa pemerintahan Maharaja Zhuyuanzhang, iaitu 1368 Masihi, dan zaman Dinasti Ming semasa pemerintahan Maharaja Zhuyijun, iaitu 1611 Masihi.

Seni bina Masjid Xiaopiyuan bericirikan seni bina tradisional China yang serupa seperti istana. Luasnya masjid ini mencapai 5,968 meter persegi. Panjangnya dari timur ke barat kira-kira 146 meter dan lebarnya dari selatan ke utara kira-kira 41 meter. Walaupun masjid ini dinamakan Xiao (bermaksud kecil) piyuan, tetapi ia tidak kecil sama sekali. Sebaliknya ia merupakan masjid yang kedua terbesar di kota lama Xi'an. Jemaah yang bersolat di masjid tersebut mencapai lebih kurang 2,000 pada Hari Jumaat.