Isteri pertama Li Bai adalah diperkenalkan oleh dua orang kawannya, Hu Ziyang dan Ma Zhenggong ketika Li Bai berjelajah melalui Anlu, Provinsi Hubei pada tahun 727 Masehi. Isteri itu sebenarnya adalah cucu bekas Perdana Menteri, Xu Weishi. Dalam tempoh selama 10 tahun selepas Li Bai memperisterikan Xu, penyajak itu terus tinggal di rumah mentua. Rasanya tertekan disebabkan bukan tinggal di rumah sendiri. Beliau menunjukkan sikap yang bertanggungjawab terhadap perkahwinan pertama itu yang mendatangkannya dua orang cahaya mata, seorang lelaki dan seorang perempuan.

Li Bai mempunyai kekasih pertama pada tahun 739 Masehi, iaitu 12 tahun selepas pernikahan pertamanya, atau setahun selepas isteri pertamanya meninggal dunia. Beliau hidup bersama-sama dengan kekasih yang bernama Liu itu, dan pernah membeli sebuah rumah di Provinsi Anhui untuk Liu. Tetapi, kedua-dua mereka berpisah tidak lama kemudiannya dengan alasan yang kurang jelas.

Isteri kedua Li Bai adalah seorang penduduk bandar Rencheng, Provinsi Shandong. Li Bai menjelajah di sana pada tahun 745 Masehi. Pada masa itu, Li Bai baru meninggalkan ibukota Chang'an dengan membawa sekantung besar intan emas. Beliau bersama-sama dengan Du Fu dan Gao Shi, dua orang penyajak yang tersohor ketika itu, memilih berjelajah melalui Shangqiu, Provinsi Henan, lalu menginap di situ dalam jangka masa yang agak panjang.

Setelah berpisah dengan kedua-dua orang kawan tersebut, Li Bai bertolak ke Gunung Tai di Provinsi Shandong untuk menduduki ujian Daolu. Ketika melalui Bandar Rencheng, Li Bai berasa agak sepi dan kebetulan dapat berjumpa dengan seorang perempuan yang beliau cepat jatuh cinta dengannya. Mereka terus mendaftar untuk menikah dan perkahwinan itu turut membawa seorang anak lelaki kepada mereka. Kemudian, Li Bai membeli banyak tanah di bandar Yanzhou, Provinsi Shandong, dan memberikan mandat kepada isteri keduanya untuk mengendalikan tanah itu ketika beliau menjelajah di tempat lain.

Ini mencerminkan bahawa Li Bai amat mempercayai isteri kedua itu. Cuma, malangnya isteri itu meninggal dunia hanya lima tahun sahaja selepas mereka berumah tangga.

Isteri ketiga Li Bai bernama Zong, cucu Zong Cheke, iaitu Perdana Menteri semasa pemerintahan maharani Wu Zetian. Li Bai mengenalinya ketika menjelajah di bandar Kaifeng, Provinsi Henan pada tahun 750 Masehi. Kononnya, pengalaman Li Bai mengenali isteri itu bercorak romantik. Pada masa itu, Li Bai minum terlalu banyak arak hingga menjadi mabuk di Taman Liang. Tiba-tiba, beliau mempunyai rasa mahu menghasilkan sesuatu dalam bentuk puisi, lalu menulis "Liang Yuan Yin" pada dinding taman itu. "Liang Yuan Yin" ialah sebuah puisi yang dapat tersebar dalam lingkungan yang luas pada zaman berikutnya.

Setelah menulis karyanya pada dinding taman itu, Li Bai barang-kali buang air kecil di satu sudut dinding, kemudian, baru meninggalkan tempat itu dalam keadaan mabuk.

Tidak lama selepas itu, Cik Zong dan pelayannya berjalan melalui tempat itu, dan turut terpikat oleh puisi "Liang Yuan Yin" yang ditulis oleh Li Bai pada dinding itu. Cik Zong sangat suka puisi itu dan membacanya berulang-kali, dengan hanya berdiri di sana, tidak mahu berjalan lagi.