Pada masa itu, Tao Yuanming telah meninggalkan rumahnya dan memohon untuk berkhidmat dalam tentera milik Liu Yu. Beliau dilantik memegang jawatan Penasihat dan Pengawal Tentera. Ada juga yang menceritakan bahawa Tao Yuanming mula berkhidmat dalam tentera Liu Yu setelah Liu Yu menakluk bandar Jiankang.

Ketika Liu Yu membawa tenteranya menuju ke timur menyerang tentera Heng Xuan untuk memadamkan pemberontakan, Tao Yuanming mengambil Tian Chou sebagai contoh yang setia kepada Dinasti Han Timur sebelum itu. Yuanming menghadapi risiko besar ketika berjalan ke bandar Jiankang dengan menyamar diri. Akhirnya, beliau dapat melaporkan rancangan Heng Xuan yang menculik Raja An, lalu membawa baginda ke bandar Jiangling itu kepada Liu Yu.

Yuanming berasa amat gembira setelah berjaya berbuat demikian kerana sejak sekian lama beliau bercita-cita membuat sesuatu untuk membantu baginda menghapuskan golongan perampas kuasa.

Setelah menakluk bandar Jiankang, Liu Yu menunjukkan kehebatannya dalam mentadbir kerajaan yang baru ditubuhkan itu. Sebelum itu, kerajaan Dinasti Jin Timur sudah mula menunjukkan kelemahannya dan pentadbirannya pula semakin "kotor". Liu Yu menjadikan dirinya sendiri sebagai contoh untuk diikuti oleh para pegawainya, iaitu melaksanakan proses undang-undang dengan bersih lagi ketat. Beliau menunjukkan kemampuan yang luar biasa dan memberikan jasa yang besar dalam memerintah satu negara yang baru.

Tao Yuanming pernah menghormati Liu Yu sebelum itu kerana beliau menunjukkan sifat yang amat serupa dengan Tao Kan, iaitu moyang sebelah bapanya yang juga dianggap sebagai pengasas yang membantu raja pertama Dinasti Jin Timur menubuhkan pemerintahan baginda.

Tetapi, setelah berkhidmat dalam kerajaan pimpinan Liu Yu, Yuanming menyaksikan Liu Yu yang berniat menghapuskan mereka yang mempunyai pendapat politik yang berbeza dengannya, membunuh seisi keluarga Diao Kui yang berjasa dalam mematahkan pemberonakan Heng Xuan sebelum itu, serta Wang Yu dan anak lelakinya yang tidak berdosa. Malah, kerana mempunyai hubungan peribadi yang agak rapat dengan Wang Yi, bekas pegawai penting dalam rejim Heng Xuan yang dianggap umum patut dibunuh, Liu Yu melantiknya ke jawatan Lu Shang Shu Shi merangkap Datuk Bandar Yangzhou, satu jawatan yang amat penting pada masa itu.