顾炎武是明末清初的著名学者，同时也是明朝遗老。在清军南下时，顾炎武在家乡昆山兴兵抗清，起兵失败后，顾炎武坚持一生不与清王朝合作，只专心于著述。顾炎武的三个外甥也非常有名。徐元文是顺治朝状元，担任过文华殿大学士、户部尚书等要职。徐乾学是康熙朝探花，官至刑部尚书。徐秉义官至吏部侍郎。徐氏三兄弟都为清王朝效力，且官运亨通，顾炎武与徐氏兄弟之间的关系也就显得颇为引人瞩目。
后朝为前朝修史是古代惯例，清朝希望借修《明史》的机会拉拢前朝遗老，争取更多士大夫对清朝的支持。徐乾学、徐元文兄弟都曾主持《明史》的编修工作，兄弟二人都曾试图劝舅舅顾炎武参与《明史》编修，都被顾炎武严词拒绝。为表明自己的立场，顾炎武甚至说出：“若必相B，则以身殉之矣!”可见顾炎武的坚定决心。
徐氏一门三兄弟都考中进士入朝为官，与舅舅顾炎武的教导不无关系。顾炎武游历北京时，有时也住在几个外甥家里，但顾炎武与几个外甥的联系并不密切，并且可以说是刻意与几个外甥保持距离。但是顾炎武也不忘教育外甥如何为官。顾炎武要求外甥侍奉君主要坚守道义，为官要清廉，以天下苍生为念，重视民间疾苦。正所谓“居庙堂之高则忧其民，处江湖之远则忧其君”，由此可见顾炎武先天下之忧而忧的请怀。同时，顾炎武尽管自己严守效忠明朝之志，但并不反对外甥为清朝效力，对于下一代晚辈的选择，顾炎武表现得颇为开明。
顾炎武自从顺治年间离开故乡后在外游历多年，始终不肯回到昆山。尽管几个外甥富贵之后多次提出为舅舅买地养老，顾炎武都拒绝了。很多学者认为，顾炎武晚年不肯回昆山就与几个外甥有关。几个外甥入朝为官，其后代也有多人科考中式，徐氏成为当地的富家望族，一时间攀援附会者众多。但徐氏家族为富不仁，在昆山与当地官员相勾结，疯狂兼并土地、横行霸道，引起当地民怨沸腾。顾炎武这样胸怀天下百姓的一代大儒自然不屑与几个外甥为伍，因而至死不肯回到故乡。
