虞世南的祖父虞检，在梁代曾任始兴王咨议;父亲虞荔，于陈朝太子中庶子，都有很高的名望。虞世南的叔父虞寄，在陈朝官至中书侍郎，因没有子嗣，虞世南便过继给虞寄为子，因此他取字伯施。
虞世南生新沉静寡衣，意志坚定，努力学习，年少时与兄长虞世基一起在著名文学家顾野王的门下读书，受学十多年，他勤奋努力经思不懈，有时十几天不洗脸不梳头。
他擅长写文章，曾师法著名文学家徐陵，徐陵也认为虞世南得到了自己的真髓。与他同郡的和尚智永是王羲之的七世孙，擅书法，虞世南拜智永为师，深得王羲之书法真传，由此名声更大。
遵守礼法
陈文帝天嘉二年(561年)，虞世南的父亲虞荔去世 ，当时虞世南还年幼，因悲哀过度瘦损得几乎承受不住丧服。陈文帝知道虞荔的两个儿子博学，常从宫中派使者到他们家里去扶助卫护他们。到了守丧期满除服，虞世南被召为建安王法曹参军。他的叔父虞寄被晋安太守陈宝应捕获，远在闽、越一带，虞世南虽然已除去丧服，却还是布衣蔬食。到天嘉五年(564年)，陈宝应战败，虞寄得以生还，才令虞世南TUO去布衣食肉。
二虞入京
陈后主至德元年(583年)，除任西阳王友。开皇九年(589年)，陈朝灭亡后，虞世南与虞世基一起到隋朝京师长安，兄弟二人都名重一时，当时的人把他们比作西晋的陆机与其弟陆云。
当时隋炀帝杨广还是晋王，听到他们的名声，杨广与秦王杨俊征召的文书一起送到，虞世南以母亲年老为借口，坚决推辞，杨广命令使者去追他们。 大业元年(605年)，虞世南接连被授为秘书郎，升迁为起居舍人。
与虞绰、庾自直共撰《长洲玉镜》 。同年，因母亲去世而守丧。当时虞世基在当朝非常显贵，妻子穿衣都模仿王者，虞世南虽然同他们住在一起，却清贫节俭，不改变自己的新请。 江都之变后，虞世南随宇文化及到聊城。武德二年(619年)，宇文化及兵败被斩 ，虞世南又被窦建德抓获，窦建德任命他为黄门侍郎。
刚烈敢谏
武德四年(621年)，秦王李世民灭窦建德后，虞世南被授任为秦王府参军，不久转任记室参军，十月，李世民被封为天策上将，并建立文学馆，虞世南被授为弘文馆学士，与房玄龄共掌诏告文翰，为“十八学士”之一。
历史成就
文学
虞世南文章婉缛，与徐陵相似。曾劝太宗毋为宫体诗，而其诗除《咏蝉》等少量有兴寄、边塞诗较刚健外，其余多为应制、奉和、侍宴之作，文辞典丽，内容则比较空泛。 虞世南的代表作有《出塞》《结客少年场行》《怨歌行》《赋得临池竹应制》《蝉》《奉和咏风应魏王教》等。
其中后三首咏物诗分别写竹、蝉和风，紧紧抓住对象特点，刻画得相当传神，例如《蝉》诗写蝉饮清露，栖(梧桐)高处，声因高而远，而非是依靠秋风，寓意君子应像蝉一样居高而声远，从而不必凭借、受制于它物。
其描摹状物、托物言志之功夫可见一斑。清代沈德潜在评论《从军行》二首时就称此诗(即《蝉》)“犹存陈隋体格，而追逐经警，渐开唐风”。
书法
孔子庙堂碑虞世南书法继承二王(王羲之、王献之)传统，外柔内刚，笔致圆融冲和而有遒丽之气。与欧阳询、褚遂良、薛稷并称唐初四大书家。《书后品》列其书为上之下品，评云：“萧散洒落，真草惟命，如罗绩娇春，鹤鸿戏沼，故当(萧)子云之上”。《书断》卷中列其隶、行书为妙品，称其书“得大令(王献之)之宏规，含五方之正SE，姿荣秀出，智勇存焉。
秀岭危峰，处处间起;行草之际，尤所偏工。及其暮齿，加以遒逸”。《述书赋》云：“永兴超出，下笔如神，不落疏慢，无惭世珍。”
《宣和书谱》卷八以为世南晚年正书与王羲之相后先，又以欧、虞相论曰：“虞则内含刚柔，欧则外露筋骨，君子藏器，以虞为优”。宋黄庭坚有诗赞其代表作《孔子庙堂碑》：“虞书庙堂贞观刻，千两黄金那购得。”唐李嗣真《书后品》评其书为“上下品”。虞世南作书不择纸笔，却很注意坐立姿势和运腕方法。
他认为，只要姿势正确，手腕轻虚，即使是粗纸，秃笔，信手拈来也能挥洒自如，别出新意。 其作品在元代就已很稀少，今所见存从帖中之外，有传世书迹刻石楷书有《孔子庙堂碑》、《破邪论》、行书有《汝南公主墓志铭》、《摹兰亭序》等。《唐人摹兰亭序三种》其中之一传为虞世南的墨迹。
思想虞世南从儒学为规，修身力行。唐太宗常引进谈论，共观经史，每论及历代为政得失，必有规纲，多有补益。强调学习经史，认为自古圣贤。“劝乎学而立其名”，若不学，则“没世而无闻”。
崇尚孔子“节用而爱人”的思想主张薄葬。认为古时帝王所以薄葬，不是不想荣其亲，然而高坟原垅，珍宝奇物，实所为累。圣人深思远虑，安于薄葬，是为长久之计。虞世南为一代儒臣;对扩大儒学影响起一定作用。
藏书
虞世南秘书监任职时，充分利用国家藏书，主编《北堂书钞》160卷。北堂是秘书省的后堂，故名。全书分19部，下分852类，19部内容极为广泛，包括帝王、后纪、礼仪、衣冠、仪饰、服饰等部，其中汇集了大量的儒学资料，起着传授知识，临文备查的作用，为唐代四大类书之一。
又奉敕参撰《群书治要》50卷，辑录经史谱子有关治国兴衰政迹之文，始上古，终晋代，凡采经书12种，10卷;史书8种，20卷;子书，四书7种，20卷。
多本唐初善本，前代名儒桓谭，仲长统等人政论，亦赖此书得其梗概。个人收藏书画作品甚多，亦有图籍存于家。收藏品钤有“世南”等印章 。
著有《兔园集》10卷，另有诗文集10卷行于世。原有诗文集30卷，由褚亮作序， 但已散失不全。《全唐诗》编其诗1卷 ，《全唐文》收录有其诗文及奏疏 。民国张寿镛辑成 《虞秘监集》4卷，收入 《四明丛书》。
