朱阿夫师不费吹灰之力就夺回了被俄军占领的英军炮台，然后一直追击俄军到山脚下的圣克莱门山沟。甚至由于奔跑势头太猛，法军还冲过了头，径直冲进了采石场山沟。 这里挤满了从山上撤下来的塔鲁京斯基团士兵，当他们看到朱阿夫部队朝自己冲过来，便惊恐地挤成一团，有的士兵试图向法军开火，结果却打中了自己人。 好在朱阿夫师士兵见俄军人数众多，担心不是对手，赶紧选择撤退，否则光是这场冲锋就能让塔鲁京斯基团崩溃。 返回炮台之后，朱阿夫师发现英军面对帕夫洛夫部队夹击的右翼处境十分危险。 丹嫩贝格正指挥鄂霍次基团、雅库茨基团和色楞金斯基团以及索伊莫洛夫残存部队的夹攻。 战斗非常残酷，冷溪近卫团的威尔逊上尉回忆，一波又一波的俄军端着刺刀朝他们冲过来，如果没有被子弹打倒，就和他们展开手对手、脚对脚、枪口对枪口、枪托对枪托的搏斗。 面对人数远远超出自己的俄军，冷溪近卫团的守军得到了卡斯卡特第四师下属的、由托伦斯将军率领的六个连增援。 新来增援的英军急于参加作战（他们错过了阿尔玛河之战和巴拉克拉瓦之战），当接到命令向炮台附近的俄军发起进攻时，他们沿着山坡一路狂追下去，完全忘记了听从命令，结果在近距离被俄军雅库茨基和色楞金斯基团从高处袭击，卡斯卡特在一片弹雨中被击毙，他的埋葬地点后来被称为卡斯卡特山 这时，炮台里的剑桥公爵的近卫团就剩下最后一百人，弹药也打光了，但外面仍有两千俄军。 于是剑桥公爵提议在炮台坚守到最后——为这个没有重大战略意义的据点做出愚蠢的牺牲。 好在他手下的参谋及时劝服了他:如果女王的侄子和她的近卫军军旗被带到沙皇面前，对英国来说将是一场灾难！ 于是近卫军开始后撤，士兵们慢慢向后退，保证正面对着敌人，手握刺刀做好接敌准备。当一名士兵倒下，不论是死是伤他的同伴必须马上顶上他的位置。 近卫军人数虽然越来越少，但一直保持着紧密队形，眼睛眨都不眨地护卫着军旗……好在地形非常陡峭，阻止了敌人从侧翼发起袭击。 当然，时不时还是有勇敢的俄军冲上来试图抢夺军旗，这时两到三个掷弹兵就会挺着刺刀冲出迎战，直到将其击退。 关键时刻，博凯思的人马总算赶到了，对英国人来说法国人的身影从来没有这么受欢迎过。近卫军士兵向着赶来的法军士兵高呼：“法兰西万岁！”
法国士兵则回应道：“英格兰万岁！”
俄军则被突然出现的法军士兵吓到了，立刻开始撤退，慌慌张张地往炮弹山跑，有部分比较勇敢的俄军试图留下来巩固阵地固守，但俄军整体的士气遭受重创，在遭到法军和英军联手攻击的情况下固守阵地感觉胜算不大。 于是乎不断有人在军官注意不到的时候偷偷溜走，很快炮台里就剩不下多少俄军了。 有一阵子丹嫩贝格认为他依然能够凭借炮火优势取胜，他手里有近一百门大炮，包括十二磅野炮和榴弹炮，数量比英军多得多。 但到了九点半时拉格伦下令调来的两门十八磅重炮终于运抵了现场开始向俄军猛烈开火。 巨大的炮弹在俄军炮位炸开，迫使俄军炮兵撤退。 不过哪怕此时俄军也没有完全失败，在高地上他们还有六千人，山脚下还有一万两千人预备队，如果好好组织并不是没有取胜的机会。 只不过最终丹嫩贝格决定放弃进攻撤退，因为他发现己方的组织和指挥序列完全崩溃了，就是人数再多也发挥不了什么作用。 只不过当时在丹嫩贝格主力后方五百米位置观战的缅什科夫和受尼古拉一世命令赶到克里米亚督战的尼古拉大公和米哈伊尔大公并不喜欢这个决定，他们一致要求丹嫩贝格收回撤退命令。 但丹嫩贝格辩解道：“殿下，如果不让部队撤下来，那么就是要让他们死战到最后一人。我认为这对于奋战了一个早上的士兵来说极为不公平也极为残忍。如果您认为我的命令不对，那么不如从我这里收回指挥权，由您亲自继续指挥战斗！”
这番对话结束之后，两人间激烈争吵了很长时间，结果互相都不爽对方，都把战斗失败的原因归咎于对方，都不愿意承担失败的责任，因为不管怎么看俄军兵力都占据绝对优势，完全不应该输。 于是缅什科夫怪罪丹嫩贝格，而丹嫩贝格则把责任推给了索伊莫洛夫身上，毕竟后者已经死了，死人是没办法为自己辩护的。最终黑锅被甩给了士兵，将军们一致认为是士兵纪律不严乱成一团才导致失败。 其实吧，要说俄军为什么会失败，原因其实很简单，就是缺乏指挥。高级指挥官一团混乱，中低级指挥官又缺乏控制力。尤其是缅什科夫这个名义上的总指挥，讲实话，这厮在战斗期间什么都没做，他主意全无没有做出任何指挥也没有人决策，简直就跟路人甲一样。 连尼古拉大公都在给亚历山大皇储的信中说：“战斗打响后，我们在因克尔曼桥附近等待缅什科夫亲王，但是他直到六点半才离开屋子，那时候我们的部队已经占领第一个阵位。我们和亲王一直待在右翼，没有见到哪位将军向他汇报作战进展……士兵们不守秩序，是因为没有人指挥他们……一切紊乱都源自缅什科夫。更加难以想象的是，他竟然没有作战指挥部，他身边一共只有三个人。以他们的工作方式，如果你想了解什么情况，都不知道该问谁！”
收到撤退命令后，俄军开始在恐慌中溃逃，军官没有任何办法阻止这场人肉雪崩，而英法两军还在后面不断用炮击骚扰，让俄军的混乱更是无以复加……