Maka, pada tahun 1 sebelum Masehi, Chanyu telah mengetuai sebuah rombongan yang terdiri daripada 500 orang datang ke Changan untuk mengadap Raja Aidi. Kedua-dua pihak berjaya mengadakan rundingan dalam suasana yang mesra.
Kerajaan Han dan puak Mongol hidup secara damai dalam masa yang lama selepas rundingan itu, dan rakyat yang menetap di kawasan sempadan dapat menikmati kehidupan yang stabil dan bahagia.
Pada tahun 2 Masehi, Yang Xiong ditimpa musibah secara berturut-turut dengan kematian dua orang anak lelakinya, seorang demi seorang. Yang Xiong berasa amat sedih dan memutuskan untuk mengadakan majlis pengebumian secara besar-besaran untuk kedua-dua orang anaknya itu.
Selepas itu, Yang Xiong hidup menderita di cengkam kemiskinan kerana gajinya rendah dan beliau tidak mahu makan suap. Tambahan lagi, majlis pengebumian untuk kedua-dua orang anaknya menelan belanja yang begitu besar.
Pada masa itu, Yang Xiong menumpukan perhatiannya kepada usaha menulis sebuah buku yang berjudul "Fayan" dengan mencontohi "Lunyu", sebuah kitab yang dihasilkan oleh Konfusius. Mereka yang dicatat namanya dalam "Fayan" itu segera menjadi terkenal kerana pengarangnya, iaitu Yang Xiong mempunyai reputasi yang tinggi.
Terdapat seorang peniaga yang kaya di Wilayah Shu (Provinsi Sichuan sekarang) yang mahu meninggalkan namanya sebagai orang "baik-baik" dalam sejarah. Beliau menghubungi Yang Xiong dan menyatakan kesediaannya membayar d100 ribu Tongqian (siling) kepada Yang Xiong untuk memenuhi hasratnya. Tujuannya adalah untuk meminta Yang Xiong "memperelokkan" dan mencatatkan namanya dalam buku "Fayan" sebagai bangsawan, walaupun dia hanyalah orang biasa sahaja, yang tidak berpengetahuan luas atau beretika tinggi.
Ketika dipancing dengan janji upah yang besar itu, Yang Xiong masih berada dalam cengkaman kemiskinan. Namun, beliau tetap bersikap jujur dan amanah, lalu segera menolak permintaan daripada peniaga itu. Beliau meneruskan kesungguhannya dalam mengarang buku "Fayan" dan memilih tokoh-tokoh yang memenuhi piawaiannya untuk dicatatkan dalam buku itu.
Yang Xiong masih memegang jawatan "Huangmensilang" selama lebih sepuluh tahun. Ketika mula bertugas dahulu, terdapat tiga orang pegawai yang sama jawatannya dengan Yang Xiong, iaitu Liu Xin, Wang Wang dan Dong Xian. Tetapi mereka telah dinaikkan pangkat berkali-kali dan ketiga-tiganya dipilih oleh maharaja sebagai pegawai yang paling penting dalam kerajaan baginda.
Jika dibandingkan dengan ketiga-tiga orang besar tersebut, nasib Yang Xiong agak buruk kerana jawatan yang disandangnya tetap rendah. Walaupun telah berkhidmat dibawah tiga pemerintah secara berturut-turut, iaitu di bawah Raja Chengdi, Raja Aidi dan Raja Pingdi, Yang Xiong tidak pernah dinaikkan pangkat. Bagaimanapun, beliau tidak berasa kecil hati mengenai perkara itu.
Setelah lama bertugas sebagai "Huangmensilang", Yang Xiong terlihat peluang untuk berbual-bual dengan pegawai yang datang dari daerah yang boleh menguntungkannya. Mereka yang datang dari tempat lain ini biasanya menunggu di depan Huangmen (pintu berwarna kuning) sebelum dipanggil mengadap raja. Jadi, Yang Xiong pun mengemukakan pemohonannya kepada baginda untuk memungut loghat atau bahasa daerah daripada mereka yang menunggu di depan Huangmen itu. Jika diizinkan oleh baginda, beliau bersedia meletakkan jawatan yang dipegangnya itu dan bekerja tanpa gaji dalam tempoh tiga tahun.
