作为名人后人，孟光的头上，罩着先人的光环，他在宋玉面前，随和大方，同时也顾虑重重。 宋玉想用孟夫子当年的愿望，来打动孟光：“儒家奉行‘天下有道则见，无道则隐’，现在天下刀兵连绵，礼崩乐坏，如果有这么一个地方，‘五亩之宅，树之以桑，五十者可以衣帛矣。鸡豚狗彘之畜，无失其时，七十者可以食肉矣。百亩之田，勿夺其时，数口之家可以无饥矣。谨庠序之教，申之以孝悌之义，颁白者不负戴于道路矣’，不知你意下如何？”
开始时，孟光不置可否，宋玉讲了半天，才回了一句：“人各有志吧，现在世风日下，但‘士不可以不弘毅，任重而道远。仁以为己任，不亦重乎？死而后已，不亦远乎’！作为孟子的后人，我们得恪守祖训，不能消极避世，愿意与天下苍生共进退，共沉浮！”
不愧是孟夫子的后人！宋玉听完这句话，耸然动容，也有些感动。游说没有成功，他还是留了下来，与孟光聊了很久。 慢慢地，孟光被宋玉的才华与坎坷打动，才表达了自己的苦衷：“屈大夫和你，都时乖命蹇，简直太可惜了！你们创立诗家的行为，已经感动了我。可惜我们的家教甚严，你从‘孟母三迁’的故事，就可以看得出来。君子成人之美，为了响应你，我倒有一个折衷的办法，你看行不行？”
宋玉赶紧问：“君子和而不同，小人同而不和，你有什么好建议，尽管说！”
孟光萧然地说：“隐居生活，对于我们中年以上的人来说，是完全可以接受的，而对于子孙后代来说，则是不公平的。试想一下，如果他们一出生，就与世隔绝，与主流社会完全脱节，长此以往，对于我们整个家族，是相当不利的！我考虑了一下，现在有两个建议：一是避世隐居的家族，只去一部分人员；二是隐居的后人，必须加强教育，并通过外面的家族成员，与外面的世界保持同步。我不能隐居，但我愿意在后人的教育方面，提供力所能及的帮助！”
孟光的想法，不无道理，宋玉听了，不由点了点头。 回去以后，宋玉先后找了诗曼父子、陶然、张布，与他们商议隐居的地方，同时也把孟光的担扰和建议，也讲了一遍。大家都觉得，孟光不愧是孟子的后人，建议相当有远见，只让一部分家族成员去隐居，完全避免了由于部分人的隐居，而影响了整个家族的发展。同时，隐居人士与外面的社会保持同步，这样才能进退裕如，在世道昌明时，还可以选择出世的方式，随时融入外面的主流社会。 大家最终决定，分别由宋玉和张布领头，各带四名墨家子弟、两名道家子弟，开始在楚国的崇山峻岭中，寻找理想的隐居地点。隐居地点，要求与外界隔绝，地方平旷，才能通过耕种和纺织，基本上做到自给自足，满足大家日常的衣食所需。 次年六月，张布一行七人，来到了沅江边上。张布见沅江两边，没有村落，人迹罕至，全是莽苍的原始森林，加上河汊众多，于是做了两个大木筏，七人分成两组，顺流而下，想在沅江两边的群山中，寻找合适的地方。 大家站在木筏上，见水流平缓，鹭鸶翔集，不时有鱼儿跃出水面。沅江两边，生长着粗大的松树、杉树、栎树和梧桐树等，其中还夹杂着很多不知名的果树，偶尔还可以见到猕猴群在树上穿梭，成群的野猪在岸边追逐打闹，优游自若的大象、犀牛，在支流中戏水，见了人也并不慌张，森林呈现出一派祥和的气氛，让大家有一种世外桃源般的感觉。 堪称森林侦探的喜鹊，见到七人后，就一直跟着他们，不时停在岸边的树梢上面，头一低一颤，用急促而响亮的声音，向森林中的其它动物报警：快来看啊，这里来了一群不速之客！ 天气炎热，七人却趣味盎然，游心不减。 岸边的河网，越来越密集，沅江右岸森林后面的山势，也愈见峥嵘。张布一边盯着右岸，一边吩咐大家，尽量用撑竿控制木筏的速度，他想找一个地方靠岸，去右岸的森林里看看。 快靠岸时，后面的木筏上，一个道家弟子指着前面的小河汊说：“大家快看，那里有几只猕猴，不知在做什么？”