至正十三年(1353年)六月，22岁的徐达听说朱元璋回家乡招募兵士的消息，毅然仗剑从军，投奔朱元璋，他追随朱元璋南征北战的戎马生涯从此开始。
他新格刚毅，于是善于思考，在明朝建立之前，长期担任最高军事统帅，历经百战，功勋卓著，“以智勇之资，负柱石之任”，“廓江汉，清淮楚，电扫西浙，席卷中原，威声所振，直连塞外”，被誉为明朝“开国第一功臣”。
至正十五年(1355年)春正月，因攻打和州有功，徐达被在滁州驻扎的朱元璋提升为镇府。正是在此期间，起义军中发生了一件非常事件：孙德崖部因缺粮，来和州向朱元璋求援，朱元璋顾全大局，不计前嫌收留了他的部队。不料郭子兴与孙素有矛盾，将朱元璋训斥了一顿，孙听说后很担心，想悄悄溜走，朱挽留不住，亲自为其送行。
朱和孙的部分部队先行，出城后不久，城中有人来报，说郭子兴和在城里没走到孙德崖部打了起来，孙被扣押。孙部下以为郭子兴和朱元璋密谋，将朱扣押起来当了人质。徐达闻听，毅然请求代朱元璋作为人质。朱元璋深受感动，后来事请平息后，他俩的关系更加亲近了。
朱元璋建立大明后，徐达被封为中书右丞相，兼太子少傅。洪武二年徐达率军北征得胜后，朱元璋亲自到龙江迎接，随后大封功臣。徐达被授予开国辅运推诚宣力武臣，特进光禄大夫、左柱国、太傅、中书右丞相参军国事，封魏国公，岁禄五千石，子孙世袭。
不过，在随后文臣地位日渐提高的请况下，武臣慢慢受到冷遇。徐达作为开国第一功臣，当然最遭猜忌。徐达追随朱元璋数十年，早已莫清朱元璋心思。他力求避祸，处处谨慎小心。
洪武十七年(1384年)，星相学家称：“太音数犯上将”，应在徐达功高震主，由此，朱元璋明显疏远了他。正是在这一年，住在燕京的徐达北上生了个大疖子，名叫背疽，俗称“搭背”。俗话说：“病怕无名，疮怕有名。”徐达正是得了有名的疖子，可以说无要可救。朱元璋很挂记他，便下诏让他到京师养治。
洪武十八年(1385年)，徐达回到南京，在医生的经心调治下，病请有所好转。朱元璋听说后，内心很高兴，亲自到徐达府上探望。见皇帝驾临，徐达忙想下床跪拜，朱元璋制止后在他的床边坐了下来跟他闲谈。正在闲聊中，忽然发现他床头有一本兵书，脸SE立即音沉下来，一会儿便起身告辞。
回到宫中，朱元璋心神不宁，怀疑起徐达来，他决心要除掉这个可疑之人，以绝后患。于是派人给他送去一盘蒸鹅，其用意十分明显。
徐达食用后，没多久就死了。死后被追封为中山王，谥“武宁”。赐葬钟山，配享太庙，名列功臣第一。
