公元348年，冬天，殷浩府衙。杜云天来拜访殷浩，殷浩早年以见识度量、清明高远而富有美名，酷爱《老子》。隐居十年，不曾出仕做官。镇西将军谢尚年轻时，听说殷浩擅长清谈，特意去拜访他。殷浩没有做过多的阐发，只是给谢尚提示好些道理，说了几百句话；不但谈吐举止有风致，加以辞藻丰富多彩，很能动人心弦，使人震惊。谢尚全神贯注，倾心向往，不觉汗流满面。殷浩从容地吩咐手下人：“拿手巾来给谢郎擦擦脸。”
殷浩在庾亮属下担任长史时，有一次进京，丞相王导为他把大家聚在一起，桓温、左长史王濛、蓝田侯王述、镇西将军谢尚都在座。王导离座亲自去解下挂在帐带上的拂尘，对殷浩说：“我今天要和您一起谈论、辨析玄理。”
两人一起清谈完后，已到三更时分。王导和殷浩来回辩难，其他众人丝毫也没有牵涉进去。彼此尽情辩论以后，王导便叹道：“一向谈沦玄理，竟然还不知道玄理的本源在什么地方。至于旨趣和比喻不能互相违背，正始年间的清谈，正是如此！”
太尉、司徒、司空三府征召殷浩为官，他都推辞不就任。后来征西将军庾亮征召他为记室参军，多次升任至司徒左长史。安西将军庾翼又请做司马。后任命为侍中、安西军司，殷浩都称病不就职。隐居荒山，将近十年，当时的人将他比作管仲、诸葛亮。王濛、谢尚还探察他的出仕和退隐的动向，来预卜江东的兴亡。二人一同前往看望殷浩，知道殷浩有坚定的避世志向。返回后，叹息说：“殷浩不问世事，如何面对江东百姓！”
翼给殷浩写信说：“当今江东社稷安危，内政委托褚裒、何充等诸位重臣，外事依仗庾氏、桓氏等几户大族，只怕难保百年无忧，国家破灭，危在旦夕。足下少负美名，十余年间，内外任职，而如今却想隐退世外，不问国事，这于理不合。再说，当代的大业，还须靠当代的杰士去完成，为什么一定要盲目追寻古人的风范！王夷甫是前朝的风流人物，但我始终鄙薄他追求虚名的行为。若以为当今世道非虞夏盛世，那么一开始就该超然物外不问乱世之事，然而王夷甫却极力谋取高位，树立名望，既是名位显赫，就该努力光大名教，全心治理天下，使乱世得以安定，可此时的王夷甫却又高谈老庄，说空终日，不务实际，虽说谈道，实长浮华空谈之风。等到晚年，声望犹存，却贪图安逸，害怕动乱，专谋自保，最终被石勒所虏，身首异地。凡是明德君子，难道赞成这样做吗？而世人都认为他是对的。由此可知当今名实不符，空谈浮华之恶习未除。”
殷浩还是执意不出山。接受执政的会稽王司马昱征召，拜建武将军、扬州刺史。大司马桓温势力消灭成汉，逐渐坐大。为了抗衡桓温，司马昱有意栽培殷浩，令其参预朝政。因此，桓温和殷浩的两股势力，加剧了东晋朝廷内部矛盾激化。王羲之和荀羡纷纷写信劝阻，殷浩一概不理。殷浩的外甥韩伯，素来受到殷浩的赏识和喜欢，他随殷浩同到流放之地，一年后回京，殷浩送到水边，吟咏曹颜远的诗道：“富贵他人合，贫贱亲戚离。”
吟罢竟然抽泣哽咽，潸然泪下。后来桓温打算让殷浩担任尚书令，派人送信给殷浩，殷浩欣然答应。摊开纸张准备写回信，但殷浩太重视这封信，为避免其中有错误而摊开纸张又闭合，再开再合，如此往复几十次，最终给桓温回了一封空白信函，使得桓温大失所望，从此两人绝交。356年，殷浩去世。