第二天天亮，罗成和众人告别，先去济南找到秦琼的母亲，双方相认后，立即将秦琼的母亲带来了小孤山，然后独自回到幽州，回到家里，和母亲秦氏一说，秦琼秦叔宝确实是自己表哥。秦氏一把鼻涕一把眼泪，喜的是自己哥哥唯一的后代还在，悲的是才知道侄子还在，却又听说要造反了，也是死罪一桩。暂时放下罗成这里，话说徐茂公办事能力出众，一到小孤山，立即开始在江湖上上招兵买马，等到三十五人全部到小孤山汇合时候，这里已经有支万把人的队伍了。人一多，兵粮的问题就迫在眉睫。地界里面，另有一支队伍，头领叫张金称，他的做法就是到处劫掠，反正那里有吃的，他的队伍就抢那里。秦琼说：“我原来在济南做马快，最恨的就是他们这伙人，到处烧杀抢掠，我们可不能和他们一样。”
秦琼离开济南，也是因为想知道张金称的老巢到底在哪里，才引发后面这一连串的事情，如果要让他学张金称这伙人的做法，却是万万不能。徐茂公说：“我知道有个地方，粮草贮藏很多，足够我们吃一年不止的。”
既然有这等好事，还等什么，“茂公快说，哪个地方？”
“此去西边四五十里，金堤关。”
一语惊醒梦中人，徐茂公嘴里的金堤关，是豫州和山东交界处，一个小县城，说他小，却是粮食贮藏地，类似三国时期的乌巢。不过攻打金堤关的话，等于是公开作乱了，“干他娘的，我们劫王杠和囚车，都公开了，还怕他个鸟。”
程咬金大声嚷嚷。既然大家意见一致，第二天就倾巢而出，杀向金堤关。金堤关守将名叫华公义，见一帮流寇突然浩浩荡荡向自己这里杀来，带领士兵冲了出来。他用的也是大斧，程咬金一看，哈哈大笑，“好哎，你也用斧，我来会会你。”
两人双斧一交，当当乱响，华公义战马连连后退。这华公义也是经久沙场的老将，一时之间采取守势，到也防守得滴水不漏。等到程咬金三十六路开山斧走完，重新又来一遍的时候，被他看出破绽来了。敢情你只会这一路啊，于是华公义料敌在先，程咬金下一式还未使出，华公义早在那里等着他，从一开始的主动，变为逐渐落在下风。秦琼在阵后，眼看得程咬金手忙脚乱，险象环生，大喝一声：“我秦琼来也。”
手持双锏，便冲了出去。秦琼接下华公义，程咬金喘了一大口气，到后面休息。秦琼双锏对华公义大斧，双方又战斗了三十多回合，秦琼拔马便走。华公义在后追赶，“贼人休走，纳命来。”
边喊边高举大斧从后面劈来。秦琼在前，闻脑后有风声袭来，突然勒住马身，左手锏往后一格挡，正好接住砍来的大斧，马上身子一扭，右手锏劈面打去，正打在华公义脑袋之上。华公义呼叫都来不及，被秦琼一锏打落马下，头都被砸扁了。见华公义被秦琼当场杀了，后面各位发一声喊，带领人马冲杀过来，官军一看，魂魄都飞了，四散奔逃，金堤关都没人守了。众人抢入金堤关，里面好几个谷仓，粮食是不用愁了。不过这金堤关，城墙低矮，如果大兵再来攻打，却是不容易防守啊。“我们现在拿下金堤关，官军大兵来剿，我们又守不住，这里这许多粮食到时又被夺走。”
程咬金在那里嚷嚷。徐茂公想了想，“这金堤关现在是攻下了，但我们不能把粮草和大军放这里，这里只能作为一个犄角，我们还需要一个据点。”
“这个据点我已经看好了，”徐茂公说到这里停了，众人都焦急等他说下去。“那里地势比这里险要，靠着山脉，里面峡谷纵深，别说咱们现在一万人，如果有个十万二十万人马，也能够在那里生存下来。”
单雄信大声：“茂公，有如此好地方，你快快和大家说来。”
徐茂公转脸朝西，指着远处起伏的山岭，“就在那两山间，有一处地方叫瓦岗寨，现在只是几个官军的寨子，如果拿下，我们再在那里修起城墙的话，就是一夫当关万夫莫开的局面，如果再和金堤关这里互为犄角，那我们就有一个真正的据点了。”
众人一听，赶紧都吵着要去拿下那瓦岗寨，徐茂公说各位莫急，我们先稍微做些安排。当即叫士兵开灶做饭，让大家先美美吃上一顿，然后留下柳周臣和贾闰甫两位，带两千士兵驻守金堤关，其余人出发攻击瓦岗寨。瓦岗寨守将是马家三兄弟，老大马三保、老二马宗应、老三马有周，听闻忽然贼人来攻，老二披挂出马，没想到正好碰上程咬金。程咬金在金堤关被华公义杀得手忙脚乱，心里一直不服，见马宗应过来，手起一斧，马宗应做梦都未料到敌将如此大力，被一斧劈中胸口，当场就分了两瓣。瓦岗寨内听说二哥已死，三弟马有周冲出来想报仇，又被程咬金三斧砍死。老大马三保在寨子门口，看见贼人来势汹汹，知道自己这里守不住，立即叫手下安排家眷等，护着家属从寨后逃走，留下了一座空寨子。消息传入洛阳，隋炀帝大为震动，山东的强盗竟然劫王杠、劫囚车、打下金堤关和瓦岗寨，公开树起反旗。在此以前，虽然有盗匪，但从来没有这么张扬这么公开的，隋炀帝立即叫来宇文化及等人，商量对策。宇文化及说了一个人名字，让他带兵去剿灭强盗，应该胜算极大。隋炀帝连连询问，宇文化及说：“兵部尚书，长平王邱瑞。”