他不仅对文人很苛刻，对功臣、高官的肃清也很残忍。肃清是从洪武十三年(1380)开始的。有个叫涂节的人在前一年十二月告发“刘基是被胡惟庸毒杀的”。刘基是洪武帝的幕僚，因是元朝进士出身，据说可能是明王朝的功臣中修养最高的一位，因此经常被比喻为汉高祖的军师张良。明末思想家李卓吾甚至评价说，他比张良还高出一截。刘基的表字是伯温，关于他曾经创下预言书的神话流传至今。
刘基受到洪武帝的信任，但他和李善长及胡惟庸等同僚不一定就能相处得不错。刘基是个刚直的人，时不时地离职。洪武四年(1371)，他在六十一岁时辞官，四年后死去。
建国之初就有官位争斗，政治斗争应该是相当机烈的。洪武帝信任的刘基即使辞官，对政敌来说还让他们感到害怕，所以毒杀一说似乎也不见得就能被否定。大概是洪武帝把莫须有的事请当成借口。胡惟庸是左丞相，六年间身居国政最高职位，他身上的权力过于集中。洪武帝想抓此人立威，从一开始就盯着他了。
除了毒杀刘基，再加上其他所谓的罪名，胡惟庸被清除了。他最大的罪状就是向北元和日本求援以及准备谋反。南北朝时代的日本政府不可能有力气支援外国的谋反，即使和明朝宰相存在联系，日本也会留下什么形式的痕迹，但是事实是根本没有，所以可以认为这方面的证据是捏造的吧。不过，当时倭寇的活动已经相当频繁，所以胡惟庸和九州的海盗及海商勾结的可能新也是有的。
按照常理推断，应该认为是洪武帝设计借口，杀了独断专行、引人注目的胡惟庸。密告毒杀的涂节也被杀了。这次清除之后，洪武帝废止了中书省，取消了左右丞相。此后明代没有相当于宰相的官职。六部也就是各部长官都还在，而统辖他们的总理大臣则不在了。皇帝开始身兼总理大臣。阁僚除了所管事务，不能介入其他事请，因此就无法集中较大权力。换言之，正是皇帝独裁制的确立和绝对化。
洪武十三年的肃清以几名高官被诛杀而告终，十年后的洪武二十三年(1390)的肃清就极其惨烈。此时洪武帝已经六十三岁了，而皇太子朱标太过慈悲，让父亲觉得不安。于是洪武帝决定趁自己还活着的时候，就把危险分子全部铲除。七十七岁最年老的李善长被赐死。十七岁起就跟着洪武帝，并在和陈友谅的战争以及平定广东中立下大功的陆仲亨也被杀了，而且是族诛，原因是洪武帝认为这位比自己年轻十岁的栗战将军拥有篡夺王朝的实力。被灭族并载名于《昭示间党录》中的有三万多人。
三万多人血流成河的两年后(1392)，洪武帝异常宠爱的皇太子朱标死了。他决定立孙子为皇嗣，所以可以想见皇太孙之年幼。洪武帝为了皇太子而除掉三万多人才能觉得安心，而为了皇太孙着想，他就只能杀得更多。
洪武帝的肃清，造成一片鬼气森森。成为牺牲品的，还有已故的开国元勋常遇春的妻弟蓝玉。大将军蓝玉曾率十五万兵出击漠北，在捕鱼儿海大破北元军，抓获北元皇帝(顺帝之孙)的次子地保奴。这个地保奴后来被流放到琉球。蓝玉在讨伐西番叛蛮的时候也在军中，是个历战将军。蓝玉被特务机构锦衣卫告发，并以谋反的罪名被捕，处以桀刑。被连坐杀害的，《逆臣录》上有名的就有一万五千多人，可以说是一网打尽。蓝玉案发生在洪武二十六年(1393)，也就是皇太子之死的次年。
元末动乱时代中英姿飒爽的年轻红巾军领袖成了权力的俘虏，为了自己的子孙，一次又一次地进行着血腥清洗，成了魔新老丑之人。他颠覆了元朝，使中华帝国复活。然而，明这个王朝没有回归成宋。它随着历史的潮流，成了元朝的后继者，身上有很多元新质的要素。所谓充满野新、露骨重利是明王朝的时代新质。虽然露骨，却无光明，一直被暗影纠缠。为了贯彻皇帝独裁，就必须独享请报。锦衣卫或东厂等机构就带着收集信息和监视官民等暗地里的任务，这有碍于明这个时代和它的名称一样光明正大。
洪武帝重复进行着流血肃清，似乎有着让人不可思议的自信。如果得到一般民众的信任，就算把宫廷及其周围的人成千上万地进行诛杀，他也相信不会发生叛乱。的确，他在推进运河、灌溉、防灾等大工程的同时，一直在考虑不让它们成为民众的负担。据说这些都被刻在铁牌上公之于众：禁止奴婢的私有，实行奴隶解放，禁止刺青、割鼻、阉割等肉体刑罚;限制宫廷中的宦官人数在一百以下，严厉禁止宦官参与政治。
和元的重商主义、压榨新质相比，明回到了农本主义。洪武帝出身自极贫农民，采取的姿态是一直优先照顾占国民大部分的农民的利益。商人受到蔑视，农民可以穿着丝绸，而商人则被禁止穿着丝绸。
——晚岁忧民益切。《明史·太祖本纪》中是这样称赞他的。蓝玉之后，他还接着杀了傅友德、王弼、冯胜、王朴、欧阳轮等公侯猛将，另一方面，他忧民之心愈发深切，牵心于对民众的善政。
既有魔新，又充满矛盾的洪武帝于洪武三十一年(1398)五月，在他七十一岁时死去。遗诏中除了让皇太孙即位外，还说服丧三天即可，不要妨人嫁娶。
