Semua kekacauan politik yang terjadi itu amat mengecewakan Yuanming. Beliau lalu menghasilkan satu puisi yang bertajuk "Shi Zuo Zhen Jun Can Jun Jing Qu Jing A Qu Bo", dan menyuarakan rasa kecewanya, "Mataku sudah penat melihat sahaja pemandangan gunung dan sungai yang sering berubah, hatiku mula merindu kehidupan di kawasan pergunungan".

Tidak lama selepas itu, Tao Yuanming meletakkan jawatannya dan pulang ke kampungnya untuk bertapa.

Pada awal tahun 405 Masehi, Yuanming dilantik memegang jawatan Pengawal Tentera di bawah pimpinan Liu Jingxuan, Datuk Bandar Jiangzhou yang juga bergelar Jeneral Jianwei. Pada bulan Mar tahun itu, Yuanming telah diberi tugas mewakili Liu Jingxuan, untuk menyerahkan surat peletakan jawatan Liu Jingxuan kepada raja di Bandar Jiankang. Tak lama selepas itu, Liu Jingxuan diizinkan meletakkan jawatannya, dan Yuanming juga ikut berhenti daripada perkhidmatannya dalam kerajaan.

Pada musim gugur tahun 405 Masehi, bapa saudara Yuanming sebelah ayahnya, iaitu Tao Kui telah mencalonkan Yuanming untuk memegang jawatan Pengetua Kaunti Pengze. Setelah berjaya dan bertugas selama 81 hari di kaunti tersebut, Yuanming diberitahu bahawa utusan dari Gabenor Xunyang telah tiba di kauntinya dan Yuanming sebagai Pengetua Pengze perlu menyambut kedatangannya dengan memakai pakaian rasmi. Selain itu, beliau juga perlu memakai tali pinggang dengan kemas dan tunduk membongkok kepada utusan itu.

Bagaimanapun, Tao Yuanming tidak mahu berbuat demikian. Beliau mengeluh, "Mana boleh aku membongkok kepada budak kampung itu semata-mata bertujuan mengekalkan jawatan yang bergaji dalam bentuk beras lima 'Dou' sahaja."

Dengan demikian, Yuanming memutuskan untuk meletakkan jawatan dengan meninggalkan mohornya di atas meja di pejabatnya sahaja.

Kerjaya politik Yuanming berlangsung selama 13 tahun sahaja dan tamat setelah beliau meletakkan jawatan sebagai Pengetua Kaunti Pengze. Tempoh 13 tahun itu memperlihatkan perjuangan Yuanming dalam arena politik untuk merealisasikan cita-citanya yang mulia, namun, beliau terus-menerus kalah dalam perjuangan itu. Rasa kecewanya menjadi semakin teruk hingga beliau putus asa terhadap arena politik yang dianggapnya kotor ketika itu.

Akhirnya, Tao Yuanming menghasilkan sebuah puisi yang bertajuk "Gui Qu Lai Xi Ci" untuk menyatakan hasratnya tidak mahu lagi hidup dalam golongan pemerintah dan keinginannya untuk menjauhkan diri daripada mereka supaya dapat menjalani hidup yang bersih.

Setelah meletakkan jawatannya dalam kerajaan dan pulang ke kampung halamannya, Tao Yuanming mula menjalani kehidupan yang sederhana dengan bergantung kepada usaha pertanian. Kebetulan, Puan Zai, isteri beliau, mempunyai minat yang serupa dengan suaminya, iaitu mahu hidup di kawasan desa，dan mencari rezeki dengan bertani, tanpa mengira kedudukan mereka dalam masyarakat. Pasangan suami isteri ini sesungguhnya bahagia menjalani hidup yang santai di kawasan desa dengan bekerja bersama-sama di ladang.

Dengan demikian, Yuanming juga berpeluang mengetahui kehidupan rakyat dengan lebih dekat.

Kehidupan pasangan Tao Yuanming ini di desa, pada permulaannya memang agak mewah. Mereka mempunyai kawasan rumah seluas kira-kira satu hektar yang dibina dengan batu bata, dan pondok rumput sebanyak lapan atau sembilan buah. Kerana suka kepada bunga kekwa, Yuanming menanam banyak bunga jenis itu di sekeliling rumahnya. Keadaan itu dibuktikan melalui dari dua ayat dari puisinya, "Cai Ju Dong Li Xia, You Ran Jian Nan Shan."