洪武十一年35岁的杨士奇同本地望族严氏23岁的女儿严琇成婚。杨士奇患病，严琇又带着孩子回来照料他。过了四年后，严琇再次带着孩子回了老家。洪熙元年严琇因病去世，死时才48岁，严琇的死给杨士奇的打击很大，悲痛道：“岂谓遽丧吾贤妻哉?”
杨士奇对严琇请深意重，严琇去世后，杨士奇一直没有再娶，一直孤身一人。这样一个国之重召来，打扮了一番，之后开玩笑说：“此回杨先生不能认矣。”第二天即下懿旨，命所司如制封之，而且下不为例。一般来说，宫中的贵人谁会闲得没事，管到臣子家里去呢!电视剧中演的，什么一会儿皇后给这个人赐婚，一会儿皇太后又为哪个姑娘做主招婿，过后又是皇上给哪家大臣赏赐美女了。这样的事一般只发生在皇亲国戚之中，一般来说臣子之间还是各家父母做主，毕竟“父母之命，媒妁之言”嘛。!此可见，杨士奇是多么的受重视了，连皇太后在知道他无人照顾后，亲自命人册封杨士奇家中那位照顾他的侍女了!
严氏育有四女四男，长女已经出嫁，其余三女尚幼;长子杨稷因为侵暴杀人，后来被绳之以法。
