李白25岁时离开四川，游历各地，看到老乡司马相如在文章中大夸楚地云梦如何壮美，就去观赏，结果被附近的前朝宰相许圉师一家看中，娶了许圉师的孙女，准确来说是入赘。
对古代男子来说，做上门女婿是很丢脸的事，但李白不然，甚至对“入赘相门”备感荣耀，在诗文中颇为自得地提起，与他“视权贵如粪土”的人设有些违和。
可惜这口“软饭”并没想象中那么管饱。许氏家族此时已无人在朝为官，只能帮李白解决衣食住行等生活问题，很难为他提供人脉资源或势力保护。一次，李白将安州长史李京之错认成老友，李长史大发雷霆，要抓他入狱。他只好用无比卑微的语气给李长史写信，使劲吹捧对方、贬低自己，同时大肆卖惨，这才逃过一劫。
对于入赘许家的这段岁月，李白的总结是“酒隐安陆，蹉跎十年”。但他常年外出游历，住在家中的时间不足三年。生活不如意，他就借酒消愁。后来妻子不幸病逝，他在许家的日子就更难熬了，只好带着儿子伯禽和女儿平阳移居山东。
这时李白仍专注于以隐求名、借名入仕这条路，那两个年幼的孩子靠谁照顾呢?于是，他跟一个刘姓女子开始同居生活，结果刘氏一看他没什么钱，又三天两头见不到人，就离开了。
无奈之下，李白又托朋友介绍了一个本地妇人，这个妇人见识短浅、心胸狭隘，两人凑合着过，还生了一个儿子。但几乎没人提过这个儿子，包括李白。
就在李白备感煎熬时，唐玄宗命他入宫觐见。他临行前写了《南陵别儿童入京》一诗，除了那句著名的“仰天大笑出门去，我辈岂是蓬蒿人”，剩下的都是对儿女的不舍和对同居妇人的不满。
后来李白虽离开宫廷，但到底是“赐金放还”，却仍将儿女留在山东，继续游历，只是偶尔回来探望。不久，他就在开封娶了已故宰相宗楚客的孙女，其实还是入赘。宗楚客是武则天的堂外甥，生前贪赃枉法、祸国殃民，声名狼藉，但李白竟毫无心理负担地接受了这段婚姻。
虽然李白多次在诗文中表示他与宗氏感请不错，但仍没将儿女接到身边抚养。他对此备感歉疚，听说有个朋友要去山东，他在送别诗中说：“二子鲁门东，别来已经年。因君此中去，不觉泪如泉!”他还给两个孩子写信，其中满是疼惜和思念。
就算是新婚不久的宗氏，也没跟李白温存多长时间，因为他又开始浪迹天涯了—他自尊心太强，受不了宗氏家族森严的规矩。在这期间，他给宗氏写过很多表达思念的诗。
安禄山攻陷长安后，李白逃往江西庐山。不久，宗氏跑到庐山与他团聚，他很担心远在山东的儿女，恰好徒弟武谔来访，表示愿将他的儿女接过来，但因时局混乱而没能成行。
后来李白下山随永王李璘起兵勤王，不料李璘谋反，事败后，李白受到牵连，被捕入狱。宗氏为救李白，冒着风险东告西求;他被流放夜郎时，宗氏还带着弟弟前来饯行。李白在流放途中遇赦，返回中原，可他此后的诗文中再无宗氏的踪影。
李白最后的时光是在安徽当涂度过的，当时陪伴他的亲人只有族叔和儿子伯禽一家，女儿平阳嫁人后就离世了。
李白离世五十多年后，他的故交之子范传正到安徽做官，出于敬慕之心，开始寻找李白的后代，最终打听到李白的两个孙女还在本地，伯禽已病故，而她们身为女子，按当时政策是分不到官田的，一度难以维生。后来她们分别嫁给两个老实巴交的佃农，虽仍沦落于编户之外，但好歹有口饭吃。名动天下的“谪仙”，子孙竟落魄至此，让人唏嘘不已。
