第二天，吕布同样准备了筵席，回请刘备等人，在席间，吕布将自己家眷等介绍给刘备，并一口一个贤弟称呼刘备。张飞听了勃然大怒，将酒碗一摔，“我大哥是刘姓宗室，乃是皇室血统，你吕布何德何能，竟然称呼我哥哥为贤弟，来来来，与我张飞大战三百回合。”
刘备急令关公将张飞劝了出去，并向吕布道歉：“我三弟就是这个暴脾气，酒后乱语，将军不要上心，不要生气。”
当晚的酒宴，因为这样一闹，双方情绪都大打折扣，最后草草散席。又过一日，吕布突然前来辞行，刘备不解，吕布说：“多谢玄德好意，但我想我在这里的话，你兄弟恐怕不太乐意，所以我思前想后，还是另投他处算了。”
刘备连忙作揖赔礼：“将军此一走，我刘备就要被人骂了，我三弟不晓事理，得罪将军，还望将军见谅，我改日一定让他前来赔罪。”
“徐州城外，本来有一个地方叫小沛，原来是陶太守给我屯兵的地方，如果将军不嫌弃，那里足够容得下数万兵马，将军可以先在那里委屈一段时日。”
吕布其实也无处可去，听刘备如此说，便允诺，当天就带着兵马前去小沛，休养生息。