第一波人马来袭，朱由在营墙上看得仔细，大概有万把人的样子。这些人个个看上去衣衫褴褛，蓬头垢面的，手上的武器也是各式各样，有长有短，每个人脸上都画着两条鲜红的眉毛，貌似神怪般。这波人还没靠近营地，就被弓箭射成刺猬般，前面死了一大批，然后像退潮一样，又快速地向后退去。没过多久第二波人又来了，不过此次吸取了教训，冲在最前面的那些，头上有的顶头盔，有的顶一个不知什么做得帽子，更夸张的有顶锅子的，当然这批人又被打退了。就这样，三天里，来来回回地冲杀，赤眉军在朱由的营地前扔下了不少尸体，但是冲锋的人却一点不见少，而朱由在城墙上皱着眉头，对方人数有增加的趋势。朱由的判断不无道理，三四天战斗后，他发现这些赤眉军，似乎并没有很强攻破营寨的意愿，冲一下，一看不对，立即就撤，过会再来。朱由派出斥候，到四边巡视，回来的消息让朱由更是忧上心头。他扎营的位置，在荆山以北，正是从山东通往河南的平原必经之地，可是赤眉军都是这一带原住民，对地形的熟悉度远胜于他。这边不断攻击，而另有一部分已经入了荆山，从后方绕过了朱由的驻地。这是一件讨厌的事情，朱由心道。赤眉军如果绕道身后，可以继续向西威胁常安，也可以回首夹击，还可以封锁西边过来的粮道，自己则成了孤军。当看到武波孤身逃回自己这里时候，朱由的心彻底凉了。他现在面对的不但是赤眉军两头的威胁，来自北面刘秀的威胁也在面前，而且朱由知道，刘秀的实力比眼前的赤眉更强悍。“当今之计，你我只能放弃这里，保存实力，往西接应大司马。”
朱由和逃回来的武波商议着，与其这样被耗死在这里，不如回头接应严尤，等到大军汇合在一起，到常安附近组织防守。两人相议，直接撤退恐怕也不行，到时候引起手下恐慌，反致大败。因此两人的策略是边打边撤，走走停停，逐渐往西而去。所以这条线上，战斗不断，但是强度都不是很大，朱由的大军不再固守一地，慢慢往西，靠信阳往襄阳，接近洛阳，没多久又向武关方向退去。赤眉军则是一路跟着下去，沿途又缴获朱由的许多辎重，这仗打的颇有油水，赤眉军更加起劲。刘秀这段时间按兵不动，他一直在重新编制和操练他的兵卒。现在他可以挑选一下了，几十万的人马，那些过去的老兵油子，或者临时抓壮丁来的，没有战斗力的，都被他解散了。有效兵卒二十万，对刘秀来说足矣。他的部队训练有序，粮草充足，在他手下当兵，每人都能吃饱，因此，当那些不合格的被淘汰掉时候，那些人还颇有不舍，同时留下的人，则更加努力精进。天下最强悍的一支部队，已经呼之欲出。与之相反，王莽的部队已经毫无士气，除了大司马严尤一路西退，还在阻挡更始绿林的进攻，常安附近的守卫已经人心四散。这年新春才过，刘秀就占据了黄河两岸，精兵步卒二十万，猛将百员，其中有后来的云台二十八将。到了春天，严尤的部队退过宛城，在武关和更始绿林的部队交战了数次，虽然互有胜负，但严尤队伍因为士气不高，伤亡惨重。当严尤得知，武波已经全军覆没，朱由也守不住东面赤眉军，而是边打边撤，向自己主力靠拢，不由老泪纵横，仰天长叹。“非老夫无能啊，这天下已经容不下新朝了，新朝要亡啊。”
和他有相同感叹的，是在常安皇宫内的王莽。这几年时局越来越乱，他开始渐渐感到有心无力了，他已经看到当年汉朝诸多的弊端，正是抱着要改变这一切的想法，他想出了种种办法。可以说，他是为这个天下鞠躬尽瘁殚精竭虑，可是这天下人怎么都不明白呢？都说他篡夺汉朝，可汉朝眼看就穷途末路了，有什么好呢？到是那个据说来自后世的林公子，曾经和自己说过，步子不要扯得太大，容易扯着蛋蛋。想到林秋，王莽火不打一处来，明明此人是神人，手段了得，也能体谅自己的心思，可就是不愿帮助自己。还说自己和他是一路人，可就是这个一路人，却是要到这里找替代自己，要找一个自己的对头。现在，战火已经燃烧到了武关，“天要亡我啊。”