第一次被斥退的经历中，可以看出“伴君”确实是一件危险系数极高的工作。刘伯温由于功名之心未灭还满怀惆怅，那么他后来的被放归，则更像是一种自我放逐。这不仅因为明初同僚倾轧十分激烈，不同派系之间的权力斗争已到白热化的程度，更因他对“圣意难测”有了更深的理解，对在雄主手下讨生活充满了忧惧，深知只有韬光养晦才是自我保全之道。然而刘伯温到底是读书人，尽管他感觉面前这个曾与自己共过患难的人越来越难以捉摸，但在反复放归、召还的过程中还是要战战兢兢地尽儒者的本分。他劝朱元璋，“霜雪之后，必有阳春，今国威已立，宜少济以宽大”，要朱元璋保存臣子的体面，不应动辄羞辱，都是非常有针对性的；他又提醒朱元璋，对遁逃北漠的元朝大将王保保不能轻敌妄进，结果也被他不幸言中了—名将徐达在追击王保保的一战中，几乎全军覆没。忧谗畏讥的刘伯温准备在家乡终老，但善于占卜的他却不知道，自己的命运并不在自己手中。隐居的刘伯温，竭力洗尽铅华，表现得像一个不识字的老农，不和地方官吏来往。他知道，有一双天眼在盯着他的一举一动。“还隐山中，惟饮酒弈棋，口不言功。邑令求见不得，微服为野人谒基。基方濯足，令从子引入茅舍，炊黍饭令。令告曰：‘某青田县也。’基惊起，称民谢去，终不复见。”
家乡父母官因为始终见不到刘伯温，所以换上便服求见，正在洗脚的刘伯温对上门的客人当然不好拒绝，升火做饭以待客，但当县令以实相告时，刘伯温马上变色，自称小民，便立即退避。如此小心的刘伯温还是出事了。处境和心情都恶劣，刘伯温的病情加重了，洪武七年，朱元璋知其病重，赐归田，这一年四月十六日，刘伯温卒于家中。刘伯温的死因，历来有三种不同的说法：一说被丞相胡惟庸毒死；二说朱元璋是毒死刘伯温的主谋；三说系病死。与刘伯温的死因相比，太祖在刘伯温死的前后表现出来的态度，更耐人寻味。朱元璋为何对智囊痛下杀手，不仅是因为在身份认识上有些偏差，且因江湖传其神乎其神，为朱姓千秋万代之基业计，智囊在劫难逃焉。理由多的是：刘伯温虽被人们看成“谋臣”甚至“术士”，但他更自居为“儒者”，然而让他沮丧的是，朱元璋也更多愿意把他当成“谋臣”和“术士”。在一次谁是当今大儒的讨论中，朱元璋就曾经轻蔑地说，像宋濂、刘伯温这样的人哪配称“大儒”？在现实的无情打击下，刘伯温的“儒者”、“帝王师”之梦最后破灭了没有？我们无从落笔。我们只清楚的是：他临终遗命，告诫子孙世代不得为官……