朱元璋对刘基颇为信任，为了撤换李善长，另择丞相人选，而征求他的意贝，君臣之间有一场推心置腹的对话：

    刘基虽然受到李善长的排挤，仍然出于公心劝导主公不要撤换李善长："善长勋旧，能调和诸将。"

    朱元璋说："是数欲害君，君乃为之地耶?吾行相君矣。"

    刘基深知在淮西集团当权的情况下，难以在朝廷施展手脚，坚决辞谢。

    刘基并不因为与杨宪有私交而说昧心话："(杨)宪有相才，无相器。夫宰相者，持心如水，以义理为权衡，而己无与者也，(杨)宪则不然。"

    刘基说："此偏浅殆甚于(杨)宪。"

    刘基说："譬之驾，惧其偾辕也。"在刘基看来，胡惟庸最为糟糕，好比一匹劣马，叫它驾车，必然会翻车坏事。

    朱元璋见以上人选都不合适，再次邀请刘基出任丞相："吾之相，诚无逾先生。"

    刘再次推辞："臣疾恶太甚，又不耐繁剧，为之且辜上恩。天下何患无才，明主悉心求之。目前诸人，诚未见其可也。"

    但是后来朱元璋还是根据李善长的推荐，选择了胡惟庸——一个远不如李善长善于出谋划策，却精于拍马奉承玩弄权术的小人。胡惟庸是李善长的同乡(都是定远人)，在朱元璋攻克和州时归附红巾军。洪武三年，因李善长的提携拜中书省参知政事，不久代汪广洋为中书省左丞。以后又拜右丞相，继而为左丞相。由于他逢迎有术，深得朱元璋宠信，形成一人独相的局面。正如《明史》所说："帝以(胡)惟庸为才，宠任之，惟庸亦自励，尝以曲谨当上意，宠遇日盛。独相数岁，生杀黜陟，：或不奏径行。内外诸司上封事，必先取阅，害己者匿不以闻。四方躁进之徒，及功臣武夫失职者争走其门，馈遗金帛名马玩好，不可胜数"活脱脱一副小人得志不可一世的嘴脸。大将军徐达得悉他的奸猜行径，深恶痛绝，把他的劣迹上告皇帝。胡惟庸得知后，引诱徐达府上的门房，企图加害徐达，虽然未能得逞，此人心计毒辣的小人心态却暴露无遗。他自恃与李善长关系非同一般(自己的侄女嫁给李善长的侄子为妻，结成姻亲)；有这样的元老重臣为后盾，胡惟庸更加胆大妄为。

    刘基鉴于在朝廷难以立足，于洪武四年告老回乡，怕遭致政治灾祸，索性隐居山中，不再与闻政汉，每天以饮酒下棋为乐，口不言功。他想逃避现实，但政治斗争的漩涡仍然把他卷了进去。胡惟庸获悉刘基曾在皇帝面前说他无能，怀恨在心。当时胡惟庸以左丞掌中书省事，指使亲信官员攻击刘基，无中生有地诽谤刘基用有"王气"的十地营造自己的坟墓，图谋不轨，刺激朱元璋的猜忌心理。结果是在意料之中的，刘基被剥夺了官禄。刘基惧怕带来更大的祸水，赶赴南京当面向皇帝请罪，并且留京不归，以明心迹。不久胡惟庸当上了左丞相，刘基大为悲戚："使吾言不验，苍生福也。"从此忧愤成病，没有多长时间就死去了。关于刘基的死因，后来胡惟庸案发，有人告发说，刘基是胡惟庸毒死的。

    对于刘基的死，孟森十分感慨地说：刘基的归隐，实为惧祸，激流勇退。(朱)元璋视其为张良，因而他俩之间知无不言，言听计从。刘基每遇急难，勇气奋发，计划立定，人莫能测，(朱)元璋每恭己以听，呼为老先生。然而激流勇退尚且不免于祸。

    朱元璋后来与刘基的儿子谈起此事，把责任一古脑儿推到"胡党"身上。他说："刘伯温在这里时，满朝都是党，只是他一个不从，吃他每蛊了。"那意思是说刘基是被"胡党"毒死的。他还说："刘伯温在这里时，胡家结党，只是老子说不倒。"朱元璋公开对外也是这样说："后来胡家结党，(刘基)吃他下了蛊。只见一日(刘基)来(对)我说：上位，臣如今肚内一块硬结怛，谅看不好。我朝人送他回去，家里死了。后来宣得他儿子来问，说道涨起来紧紧的，后来泻得瘪瘪的，却死了，这正是着了蛊了。"一口咬定刘基是被胡惟庸毒死的。但是据吴晗考证："刘基被毒，出于明太祖之阴谋，胡惟庸旧与刘基有恨，不自觉地被明太祖所利用。"如果吴晗的考证正确，那么刘基的死，就更具有悲剧色彩。朱元璋对亲信存有二心，连视为张良的刘基也不放过，却轻信胡惟庸，听任他胡作非为，又把责任推得一干二净。凭他的权力威望，"胡家结党"他真的"说不倒"吗?后来终于对胡惟庸下手，其实也是对亲信存有二心的逻辑发展。

    胡惟庸的专断独行，使相权与皇权的冲突明朗化了。胡惟庸之前，李善长小心谨慎，徐达经常带兵在外，汪广洋只知饮酒吟诗，相权与皇权的矛盾不甚明显。胡惟庸为相七年，大权独揽，使朱元璋觉得大权旁落，除了剪除别无选择。