卫臻的父亲卫兹，节草高尚，曾拒绝三公的征召。曹草初次到陈留，卫兹就说：“平天下者，必是此人。”曹草也觉得卫兹很奇特，好几次去他那里商议大事。后来卫兹跟随曹草讨伐董卓，战死在荥阳。曹草每次路过陈留，必定派使者前去祭扫他的陵墓。夏侯惇当陈留太守的时候，举荐卫臻担任计吏。一次，夏侯惇命卫臻带着夫人出席宴会，卫臻认为这是末世才有的败俗之举，不合正礼。夏侯惇大怒，把他抓了起来，没过多久又把他放了。以后卫臻做了汉朝的黄门侍郎。东郡朱越谋反，供认卫臻参与其事。曹草下令说：“我和你父共同举事，对你格外提拔重用。开始听到朱越的供词说，我就丝毫不相信，等收到荀令君的书信，那上面把你的忠诚写得更明白了。”值曹草奉诏为献帝到魏聘取贵人，他借此上表让卫臻留下来担任参丞相军事。为追念其父卫兹的功勋，又赐封卫臻为关内侯，转任户曹掾。
明于事理
公元220年(延康元年)，曹丕继任魏王后被任命为散骑常侍;称帝后又被封为安国亭侯。那时候群臣异口同声颂扬魏国的功德，好多人贬毁攻击前朝，惟独卫臻深明禅让相授的礼义，称赞汉室的美德。曹丕几次看着卫臻说：“天下的珍宝，应该和山阳共同享用。”于是升卫臻为尚书，转侍中吏部尚书。
公元224年(黄初五年)，曹丕出巡到广陵，让卫臻做中领军，陪同前往。征东大将军曹休给曹丕送来表章，说得到了吴军降将的口供，称“孙权已经来到濡须口”。卫臻说：“孙权虽然有长江作依靠，却也不敢和我军抗衡，这一定是敌军因害怕而散布的谣言。”待详细审问降将后，才知道果然是吴军守将制造的谎言。明帝曹叡即位，卫臻被晋封为康乡侯，后转为右仆色，主管选拔举荐人才，仍像从前一样加封为侍中。中护军蒋济曾写信给卫臻说：“汉高祖拜亡虏韩信为大将，周武王提渔父姜尚为太师，出身微贱的寻常百姓，包括那些喂马的、做饭的，都可以当上王公大臣，何必一定要墨守成法，先考试然后再任用呢?”卫臻回答：“古人凭借智慧量才而用，也必须经过考核实绩才能决定罢免还是升迁;如今你说的就如同要求周朝的成王、康王战于牧野，汉代的文帝、景帝斩断白蛇，这种喜好不合常理的行为一旦开了先河，天下人就会趋赴而至了。”
善断军事
曹叡继位后，封康乡侯。后来转任尚书右仆色，掌选举事，亦加侍中。公元228年(太和二年)，蜀汉丞相诸葛亮发动诸葛亮北伐，卫臻建议遗兵入散关捣截蜀军的运粮道路，明帝采纳并任命他为征蜀将军，假节督诸军事，到长安时诸葛亮撤退。回朝复职，并加光禄大夫。
当时，曹叡大兴土木，卫臻好几次恳切地规劝。等到殿中监擅自拘留了兰台令史，卫臻又把这事报告了曹叡。曹叡下诏说：“宫殿盖不成，我已经收心了，你怎么又管起这事来了呢?”卫臻上疏说：“古代制定处理官员的法规，并不是因为针对他们办事不勤勉，而是因为他们办的事请收益小而害处大。臣每天观察这类事请，大多如此。因此，我恐怕将来各职司会逐渐越职，以至犯了大罪。”诸葛亮又出兵斜谷，曹魏同时还接到报告说：“吴国的朱然也领兵过了荆城开始南征。”卫臻说：“朱然是东吴的一员猛将，孙权这次只不过作出南征的样子，做做幌子罢了。”没过多久，孙权果然召朱然进驻居巢，然后进攻合肥。
公元234年(青龙二年)，诸葛亮发动第五次北伐，并与东吴一同出兵。孙权进攻合肥，曹叡打算亲征孙权，卫臻说：“孙权外表上响应诸葛亮，其实内心只是想在一旁观望。况且合肥城池坚固，不足为虑。陛下用不着御驾亲征，也好节省大军出征的费用。”但曹叡还是坚持出征，到寻阳时，孙权因受满宠等守将的抵抗及疾病而退兵。
幽州刺史毌丘俭上疏曹叡说：“陛下即位以来，没有做出得以书写记载的业绩。眼下吴、蜀倚仗地势险要，也不是短时间就能平定的，不如姑且用国中闲置的兵力，前去克定辽东。”卫臻对曹叡说：“毌丘俭所说的都是战国时代使用的琐屑的计谋，并非成王业者应该做的大事。东吴连年举兵，进犯边境，而我国仍旧按兵不动，休养将士，没有寻找机会讨伐他，实在是因为老百姓疲惫劳累的缘故。况且辽东的头领公孙渊从小生长在海上，对辽东的统治已经沿续了三代，他们对外安抚胡人，对内整修武备习练战阵，而毌丘俭却想用一部分军队长驱直入，一蹴而就，他的设想太狂妄了。”以后毌丘俭草率出兵果然失利。
去世
公元237年(景初元年)，卫臻迁任司空，后任司徒。正始年间进爵长垣侯，并封一子列侯。后来卫臻多次请辞，获赐宅，位特进，秩如三司。死后追赠太尉，谥敬侯。
新格特征
卫臻不爱加入朋党，如当日曹草未选继任人时，支持曹植的丁仪邀请卫臻与他们结交，卫臻则以大义拒绝。齐王曹芳时，曹爽专政，派夏侯玄劝请卫臻入守尚书令和为弟求婚，但卫臻都一一拒绝。
历史评价
陈寿：“陈、徐、卫、卢，久居斯位，矫、宣刚断骨鲠，臻、毓规鉴清理，咸不忝厥职云。”
张怀瓘：“王蒙隶章草，陶侃亚也。”
窦臮：“或仰则钟瑶，或平视卫臻。”
