于是，他想办法赊来物品，为部下赶制了绛色的服装和绑腿，并加紧操练。孙权检阅时，吕蒙兵马“陈列赫然，兵人练习”，孙权见后大悦，认为他治军有方。不但没有削减其部，反而增加了他的兵员。建安九年（204年），孙权讨伐黄祖，击破黄祖水军，获悉丹阳、豫章、庐陵三郡的山越起事。孙权引军返回，吕蒙随军征讨。至豫章郡（治今江西南昌），孙权命征虏将军吕范平鄱阳（今江西波阳东北），荡寇将军程普进击乐安（今江西德兴东北），建昌都尉太史慈抚治海昏（今江西永修东），同时，令吕蒙与别部司马黄盖、韩当、周泰等率兵镇守险要，担任山越最为活跃地区的县令或县长。吕蒙与诸将遵照孙权的部署，各自以武力平定了本地区起事的山越族人。吕蒙因功被任命为平北都尉，兼任广德长。建安十三年（208年），孙权采纳将军甘宁建议，发兵进攻夏口（今湖北武汉境），吕蒙随军出征。江夏郡太守黄祖下令用蒙冲战舰封锁沔口（汉水入长江口），用大棕绳系巨石为锥以固定舰位，上有千余人用弓弩交射，封锁江面，吴军进攻受阻。孙权命偏将军董袭、司马凌统各率百人敢死队，身穿重铠，乘大船冲抵蒙冲舰旁，董袭挥刀砍断棕绳，战舰顺水飘流，孙权军遂溯流而进。黄祖见孙权兵来，黄祖急派水军都督陈就率兵反击，吕蒙统率前锋部队，身先战阵，亲自斩杀陈就。孙军乘胜水陆并进，包围夏口城。孙权督军猛攻，克其城，并屠之。黄祖只身逃窜，被骑士冯则追斩。此战，孙权大获全胜，一举歼灭宿敌黄祖，占领江夏地区。战后论功，孙权认为：“这次战事的成功，起因于先击败了陈就。”
任命吕蒙为横野中郎将，并赐钱千万。建安十三年（208年）十月，吕蒙还跟随周瑜、程普等人在赤壁大破曹操，曹操引军北归，留曹仁等驻守江陵（今湖北荆州）。孙权命周瑜、程普统兵数万，与曹仁隔江相持。时益州将领袭肃率军投诚，周瑜上表，请孙权把袭肃所部拨给吕蒙管辖。吕蒙却有不同的见解。他从全局考虑，认为周瑜的意见欠妥。他极力称扬袭肃有胆识，有才能，并说袭肃向慕教化远道前来投诚，只该增加他的兵力，而不该褫夺他的兵权。孙权觉得吕蒙说得有理，便依照他的意思，归还了袭肃的部队。不久，周瑜欲夺取江陵，先派甘宁袭取上游的夷陵城（今湖北宜昌），对江陵形成侧背威胁。于是，曹仁分兵围攻甘宁，欲夺回夷陵。甘宁向周瑜求援，诸将担心兵少，如救援夷陵，则造成江陵空虚。吕蒙对周瑜、程普说：“留下凌公绩，我与您一道，前去救急解围，按情势不会要太多的时间，我保证凌公绩能固守十天。”
接着又献策，劝周瑜派三百人用木柴把本来险峻的山路截断，当敌人逃跑时，我方就可获得他们的马匹。周瑜采纳了他的建议，亲率主力驰援夷陵，大破曹军于夷陵城下，所杀过半。曹军乘夜逃走，途经木柴堵塞的险路，无奈，骑马者皆弃马徒行。周瑜、吕蒙驱兵追赶截击，获得战马三百匹，军威大振。随即回师渡江，进军北岸，构筑营垒，向江陵发起进攻。此时，孙权为策应周瑜攻势，派兵包围合肥（今安徽合肥）。曹仁由于孤军无援，在近一年的交战中屡战失利，损失甚重，遂被迫放弃江陵城，退往荆州（治今湖北襄樊）。周瑜占领江陵，被孙权任命为南郡太守，控制了长江中游地带。吕蒙因功被任命为偏将军，兼任寻阳令。一次，孙权对吕蒙说：“你如今身居要职掌握重权，不可以不学习。”
吕蒙推脱军务繁多，没有时间。孙权说：“我难道是想要你研究儒家经典而成为学识渊博的学者吗！只要粗略地阅读，了解以往的事罢了。你说你事务繁忙，谁比得上我处理的事务多呢？我常常读书，自己感到有很大的收益。”
吕蒙乃悟，开始学习，日积月累，他读的书，超过了宿儒耆旧。建安十五年（210年），周瑜病死，鲁肃接任。鲁肃到陆口，途经吕蒙驻地。鲁肃为一代儒将，认为吕蒙是武夫出身，有些轻视他。有对鲁肃：“吕将军功名日益显赫，不能用老眼光看待他，您应当去拜访他。”
于是鲁肃拜访吕蒙。酒到酣处，吕蒙问鲁肃：“您受重任，与关羽邻接，将要采取何种策略，以防止意想不到的事情发生呢？”
鲁肃仓猝回答说：“临时看情况办。”
吕蒙说：“现在孙、刘虽然是一家，但关羽实在是个如熊虎一样的将领，怎么不预定计谋呢？”
于是，吕蒙详尽地分析当时的利害。鲁肃闻后，大惊，越席而起，靠近吕蒙，亲切地拍着他的背，赞叹道：“吕子明啊，我真没想到您的才能谋略竟达到了如此程度。”
还说：“以你如今的才略，已经不再是吴下阿蒙了！”
吕蒙说：“士别三日，即更刮目相待，兄长知道这件事太晚了啊！”
从此，二人结为好友，过从甚密。时吕蒙与成当、宋定、徐顾三人的军营离得很近。后三人去世，其子弟年幼，不能任事，孙权想把他们的部队都合并给吕蒙。吕蒙坚决推辞。他给孙权上书，指出徐顾等三人勤于职事，忠于国家，子弟虽然年纪小，但不能废黜。连续上书三次，孙权才听从他的意见。吕蒙又为三将的子弟请老师，精心辅导。曹操派庐江人谢奇任蕲春典农，驻扎在皖城的田乡，屡次侵扰边境。吕蒙派人诱使投降，谢奇不从，吕蒙就寻其破绽发动袭击，谢奇退缩，部下扶老携幼，纷纷投降。