然而也正如刘基当年所说的那样，胡惟庸在担任丞相大权独揽之后也开始变得无法无天了，贪污受贿这些都是轻的，胡惟庸开始弄权，遇事甚至都不禀报朱元璋，自己就直接处理了，同时，还曾试图毒杀徐达未遂，并成功毒杀刘基。随着胡惟庸担任丞相的时间越来越长，他的野心也就越来越大，他经常伪造一些祥瑞来为自己造势，并且还勾结吉安侯陆仲亨、平凉侯费聚让他们在外面收集兵马，暗中联络中丞涂节、御史大夫陈宁和已经告老还乡的李善长，甚至招揽倭寇并向北元嗣君称臣。种种行为已经触及了朱元璋的底线了，事实上朱元璋对其所做的一切都了如指掌，并且上面所曾提及的朱元璋削减中书省的权力都是发生在胡惟庸担任丞相的时候，从中便可看出朱元璋已经对胡惟庸不放心了。
终于，洪武十三年（公元1380年）朱元璋以谋反罪名诛胡惟庸九族。在诛杀胡惟庸之后，朱元璋正式下令“革去中书省”并“罢丞相”，同时立下祖训“以后子孙做皇帝时，并不许立丞相，臣下敢有奏请设立者，文武群臣即时劾奏，将犯人凌迟，全家处死。”至此，在中国古代实行了一千多年的丞相制度正式被废除并且之后再也未曾恢复，朱元璋也借此加强了皇权。是不是觉得朱元璋干这一切干净利落，是不是觉得胡惟庸的所作所为十分弱智，那就要恭喜看到这里的各位看官了。