来济生于江都(今江苏省扬州市)，祖籍南阳新野，东汉名将来歙十九世孙。高祖来成，北魏新野县侯，后降梁，迁居广陵，遂以此为家。父亲来护儿，隋朝名将，曾担任左骁卫大将军、左翊卫大将军、光禄大夫、开府仪同三司等职，封荣国公，恩礼隆密，朝臣无比。
隋大业十四年(618年)，右屯卫将军宇文化及发动政变，弑杀隋炀帝。来护儿不屈于叛军，被宇文化及杀害。同时遇害的还有来济的大哥来楷(时为散骑郎、朝散大夫)，五哥来弘(时为果毅郎将、金紫光禄大夫)，六哥来整(时为武贲郎将、右光禄大夫)。 只有来济和哥哥来恒因为太小没有被杀。来济家族遭难后，流离艰险，而笃志好学，有文词，善谈论，尤晓时务。唐朝时举进士。
贞观十七年(643年)，唐太宗任命来济为通事舍人。太子李承乾因谋逆被废，太宗命大臣讨论如何处理废太子，无人应答，只有来济说：“陛下上不失作慈父，下得尽天年，即为善矣。”太宗乃废黜李承乾为庶人，但是保下了他的命，并提拔来济为吏部考功员外郎。
贞观十八年(644年)，太宗任命来济为太子李治的司议郎，兼崇贤馆直学士，不久改任中书舍人，与令狐德棻等撰《晋书》。
贞观二十三年(649年)，太宗驾崩，太子李治继位，是为高宗。
永徽二年(651年)，来济任中书侍郎，兼弘文馆学士，监修国史。
永徽四年(653年)，来济拜相，被任命为同中书门下三品。
永徽五年(654年)，加银青光禄大夫，以修国史之功封南阳县男，赐物七百段。
永徽六年(655年)，来济拜中书令、检校吏部尚书。
当时，高宗想以武昭仪取代王皇后，他首先赐武昭仪封号宸妃，来济和韩瑗劝谏：“妃子有正常名额，现在另立名号，这是不行的。”
永徽六年(655年)，高宗将要立武氏为皇后，来济和宰相韩瑗劝谏说：“王者定立皇后，是为了承嗣宗庙、做天下人的国母，应该选择礼义名家、优雅贤淑的人，以符合国人的愿望，迎和神灵的旨意。所以周文王立姒氏，《关雎》颂扬，恩泽施於百姓，其福就像那样;汉成帝纵衣，以婢女为皇后，国运中途衰微，其祸患就是这样。希望陛下详察。”
然而，高宗不顾来济、韩瑗、褚遂良、长孙无忌的反对，废黜王皇后，立武宸妃为皇后。来济等都不自安;武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。
显庆元年(656年)，武后之子李弘被立为皇太子，来济兼任太子宾客，进爵南阳县侯，仍为中书令。
高宗曾经问统治百姓的好办法，来济说：“过去齐桓公出游，遇见老人，给他食物，老人说：‘请送给天下人食物，给他衣服，老人说：‘请送给天下人衣服。’齐桓公说：‘我府库有限。怎能所有的人都给?’老人说：‘春天不妨碍农事，就有粮食;夏天不妨碍养蚕，就有衣服。，由此来说，减省徭役，是统治百姓的好办法。”这时山东役使民夫，每年另外增加几万人，又商议用佣钱来代替雇工，纷乱烦扰，所以来济是针对这些所说的。
显庆二年(657年)，来济又兼太子詹事。同年，许敬宗、李义府诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良贬桂州(今广西桂林市)都督，来济贬台州(今浙江省台州市)刺史，韩瑗贬振州(今海南三亚市)刺史，终身不许回京。
显庆四年(659年)，长孙无忌被B自杀，柳奭(王皇后的舅舅)、韩瑗处死。
显庆五年(660年)，来济改任庭州(在西突厥十姓的边界，今新疆昌吉回族自治州)刺史。
龙朔二年(662年)，西突厥部落进攻庭州。来济统兵防御，对部下说：“我曾经触犯刑律，蒙恩赦免死罪，现在应当以身赎罪。”
于是来济不穿甲胄，率军出击，力战阵亡。时年五十三，追赠楚州刺史，供给灵车送回家乡。
