公元184年，黄巾起义爆发，刘备在涿县组织起了一支义勇军参与扑灭黄巾军的战争，张飞、关羽加入其中，随刘备辗转各地。三人情同兄弟，寝则同床，刘备出席各种宴会时，张飞和关羽终日侍立在刘备身旁。公元191年（初平二年），刘备投奔公孙瓒，与青州刺史田楷一起对抗冀州袁绍，累有战功，被封为平原相，张飞与关羽在刘备手下任别部司马，分统刘备部曲。公元194年（兴平元年），北海太守孔融被黄巾军余党管亥围困，派太史慈前来请求援助，张飞随刘备带兵前往救助。后曹操又因为自己父亲被杀发兵攻打徐州，张飞又随刘备前往徐州救援陶谦，陶谦表刘备为豫州刺史，张飞随刘备屯兵于小沛，后陶谦病死，刘备受邀以徐州为根据。公元196年，袁术攻打刘备，争夺徐州。刘备派张飞守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负。下邳相曹豹是陶谦的旧部，与张飞不和，曹豹坚守营寨，又派人去找吕布来救。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。吕布很高兴，率军水陆并进。吕布军队抵达下邳西四十里时，刘备的中郎将丹杨人许耽派司马章诳前来迎接吕布，并向吕布透露了张飞和曹豹相争，下邳城内大乱，丹阳兵都在西白门城内等待吕布的到来，于是吕布便大举进军，早晨到达城下。天亮后，丹阳兵打开城门。吕布坐在城门上，指挥军队大破张飞的部队。吕布俘获了刘备妻小以及刘备的部曲将吏士们的家人。刘备得知后，引兵还，进至下邳，兵马被吕布军队击溃了。刘备、张飞聚集战败失散的士卒，向东进取广陵，与袁术交战，又一次被战败了。后来，由于形势所迫，刘备、张飞只好暂时依附吕布，驻军小沛。吕布还刘备妻小。刘备驻小沛，发展较快，不久便聚众万余人。公元198年（建安三年），吕布军队用来购买军马的黄金被刘备的部下抢走。吕布于是派遣高顺等人攻打刘备，刘备不能抵挡。夏侯惇奉命前来救援刘备，却也被高顺击败。不久，高顺等人彻底击溃刘备军。刘备失去了立足之地，只得携张飞等人投奔曹操，并与曹操联合。刘备、张飞跟从曹操进攻吕布。吕布败亡后，张飞被任命为中郎将。公元200年（建安五年），刘备衣带诏事情泄漏，率领关羽、张飞逃走，杀下邳太守车胄，让关羽据守下邳，自己与张飞屯小沛。曹操派刘岱、王忠前来攻打，被张飞、关羽击退。后曹操亲自出马，刘备战败，关羽被擒，刘备与张飞逃奔袁绍。公元201年（建安六年），张飞与刘备在汝南联结刘辟、龚都等人扰乱曹操后方，许都以南纷纷响应，曹操派蔡阳前来攻打，但被刘备所杀，后刘备被曹仁击败，张飞随刘备投奔荆州刘表，驻扎新野。刘备在得到诸葛亮后，越来越器重诸葛亮。关羽、张飞对此事感到不悦，刘备解释道：“我得到了孔明，就像鱼得到了水，希望诸君不要再说了。”
关羽、张飞于是停止了抱怨。公元208年（建安十三年），曹操挥师南下，刘表病死，刘琮投降。刘备得知后南逃，数十万百姓相随，曹操派遣曹纯率领虎豹骑急追一日一夜，于当阳长坂追到刘备，刘备军被击溃，只率领诸葛亮、张飞、赵云等数十骑逃走，曹操大获人马辎重。慌乱间又不见了赵云，刘备乃派张飞去断后，张飞召集二十余骑立于当阳桥上，曹军大众至，张飞据水断桥，曹操军都害怕张飞的勇猛，虽然看见张飞人少，但也没有人敢上，刘备军因此获安，而后赵云又救出了刘备的妻子甘夫人和儿子刘禅，与刘备汇合，此时关羽从水道前来接援，张飞与刘备等前往江夏。赤壁之战后，刘备将张飞借给周瑜攻打南郡，围攻一年后，南郡守将曹仁溃逃。刘备占领荆州后任命张飞为宜都太守、征虏将军，封新亭侯，后转到南郡。建安十七年，刘备受刘璋之邀，入西川帮助刘璋抵御张鲁，张飞与关羽、赵云、诸葛亮等共守荆州。东吴得知刘备入川，派遣大船迎接孙夫人回吴，孙夫人趁机将刘禅一同带走，张飞得知后，与赵云一起截住孙夫人，夺回刘禅，放孙夫人归吴。公元213年（建安十八年），刘备与刘璋决裂，军师庞统中流矢身亡。张飞、诸葛亮、赵云等领荆州兵入川增援。大军到达江州，江州守将严颜据守不降，张飞将其攻破，占领江州，并生擒严颜，张飞对严颜大喝到：“大军到来，你怎么不投降还敢与我大战！”
严颜回到：“你们无理侵夺我们疆土，我们这里只有断头将军，没有投降将军！”
张飞大怒，令牵下去斩首，严颜面不改色大声说道：“斩首就斩首，你发的什么怒！”
严颜拒降的豪气感动了张飞，张飞将其释放，并将其引为上宾。公元214年（建安十九年），张飞等攻破江州后，与诸葛亮、赵云兵分三路扫荡西川，赵云平定江阳、犍为等郡，张飞平定巴郡、巴西两郡。五月，张飞兵至成都，与刘备会合，刘璋投降。刘备平定益州后，赐张飞黄金五百斤，银千斤，钱五千万，锦缎千匹。并任命张飞为巴西太守。公元215年（建安二十年），曹操从散关入汉中，张郃率五千步兵在前开道，曹操大军进军到阳平。同年十一月，张鲁投降。同年十二月，曹操因后方叛乱而回师，一方面留夏侯渊镇守汉中，另一方面命令张郃进犯巴西，数次进犯巴西郡的边界。张郃欲把巴西郡居民迁徙到汉中，进兵至宕渠、蒙头、荡石等县，强迁百姓。