这时的伊东家可谓是兵败地失，内外交困，上下离心。 伊东义佑如今更是连最为基本的守城之心也丧失了，眼见岛津军兵锋直指都於郡城，他却不分昼夜的举办宴会来独自享乐，完全不顾大敌当前的处境。 当岛津军真的兵临城下后，伊东义佑想都没想就选择了弃城，直接带着少数亲信家臣与家眷一同逃到了佐土原城之中，并在此地与从饫肥城逃回的伊东佑兵所率残部会合。 然而，岛津义久并不打算给伊东义佑丝毫喘息之机，在夺取都於郡城后，他就派遣其弟岛津义弘、岛津家久等人率七百余军势作为先阵，直扑伊东义佑所在的佐土原城。 听闻岛津军先阵七百余军势即将兵临城下后，伊东义佑仍然没有与之一战的勇气，没有做好任何笼城固守的准备，就再度弃城而逃。 伊东家经营十一代的本据都於郡城以及伊东义佑耗费大量人力、物力、财力所修筑起来的佐土原城就这样在几乎没有什么像样的抵抗下，在一天之内先后落入岛津军之手。 就在伊东义佑带着少数亲信家臣、家眷正狼狈逃窜之际，伊东家之中也是有忠义之人存在的。 以伊东佑审、伊东佑青、饭田肥前守等人为主的少数伊东家重臣依然在抵抗岛津家的侵攻。然而，在岛津军以及上杉将军家援军（长宗我部势、西园寺势）那凌厉的攻势面前，无异于螳臂当车一般的伊东佑审、伊东佑青、饭田肥前守等人最终还是因麾下兵力寡少而不敌兵败。 伊东佑青先是在越野尾率一百余军势意图突袭岛津军小荷驮队之时，遭遇了福永祐友、土持亲成、上原尚近等岛津军诸将所组成的偏师，结果寡不敌众，当场被讨取。而伊东佑审、饭田肥前守等人在陷入孤立无援的境地后被迫切腹自尽，也不愿向岛津家投降。 至此，于建武二年（1335）伊东佑持下向日向一国始，在日向国中延续有二百三十六个年头，曾经雄踞日向一国的战国大名伊东家也已经走到尽头了。 失去了本据的伊东义佑一行人深知，在日向一国已经再没有伊东一族的立足之地了。在经过再三权衡后，伊东义佑便决定前往丰后一国，去投奔自称九州探题的大友宗麟。 按照伊东义佑的原先所制定的计划，是准备经富田城至财部城，再由财部城进入丰后国境内。 然而，伊东义佑、伊东佑兵、伊东归云斋等一行人才经过富田城后不久，富田城城主汤地定时就见伊东家大势已去，便不愿继续效忠于伊东家，便在岛津军兵临城下之前就主动开城向岛津家投降了。 正所谓屋漏偏逢连夜雨，船池又遇打头风。 还在逃亡之中的伊东义佑一行人就听到了流言，作为伊东家谱代家臣出身的落合兼教也倒向了岛津家一方。 然而，伊东归云斋并没有经过核实，就直接不经伊东义佑许可，便擅自将落合家先前递交的人质处决。 如此一来，原本还没有倒向岛津家的财部城城主落合兼教对此感到愤怒不已，便在一气之下就派兵阻拦伊东义佑一行人的去路，并准备真的倒向岛津家。 已经毫无退路的伊东义佑只好抱着侥幸心理，派出使者东光坊以及山伏栗木太郎五郎二人前去出使财部城，希望能说服落合兼教让出一条通道，让自己一行人能够前往丰后。 结果，使者东光坊当场被正在气头上的落合兼教斩杀，仅剩下栗木太郎五郎一人好不容易才逃得一命返回汇报此事。 伊东义佑并不死心，处决落合家人质一事本就不是自己的意思，都是近臣伊东归云斋的擅自行动。 于是，伊东义佑就打算借伊东归云斋的人头来换得落合家回心转意。 但是，还没等伊东义佑正式行动之际，落合兼教就率一百余军势从财部城中杀出，直接对曾经的主君刀兵相向。 这时，发现经财部城前往丰后已是不可能之事的伊东义佑、伊东佑兵等一行人只能转向穗北城。 值得伊东义佑、伊东佑兵等一行人庆幸的是，天无绝人之路。 穗北城城主长仓洞云斋并没有忘记伊东家数代以来的恩顾，就派遣其嫡男长仓藤七郎前去迎接伊东义佑、伊东佑兵等一行人入城休整，伊东义佑也因此暂时获得了喘息的机会。 可是，前往丰后的通路已被落合兼教封锁起来。 并不想做岛津家阶下囚的伊东义佑经过再三思索后，决定做出一场豪赌——翻越米良山前往丰后。 元龟二年，六月十日。 伊东义佑与其子伊东佑兵、孙子伊东义贤和伊东义胜及亲信家臣、家眷等一百五十余人冒险翻越米良山。 米良山山势险要，山路崎岖难行。 在炎炎烈日的照耀下，失败者只能忍受着极度的炎热与饥饿，并沿着山脊的险路，异常疲惫地在山林之中摸索前行。这算得上是一条地狱的巡游之路，等到伊东义佑、伊东佑兵等一行人最终活着抵达丰后大友领境内，就只剩下八十余人了。 在米良山中颠沛流离了半个月的时间，一行人终于走出大山，并得到了中山城城主三田井亲好的接应。 大友宗麟在得知伊东义佑还在人世后感到非常高兴，当即派遣亲信家臣角隈石宗率一千余军势前去迎接伊东义佑、伊东佑兵等一行人进入丰后。 由于伊东义益的正室阿喜多夫人是大友宗麟侄女的这层关系，加上大友宗麟也希望以伊东义佑能协助大友家攻入日向一国，就对伊东义佑、伊东佑兵等人进行厚待——将大野郡野津寺小路村光明寺的宅邸以及野津院三百町的领地赐予伊东义佑。 大友宗麟的这些举动很快就收到了极大的成效，被迫投降岛津家的门川城城主米良四郎右卫门尉、盐见城城主右松四郎左卫门、山阴城城主米良山城守、中山城城主三田井亲好等人得知伊东义佑获得大友家的庇护，正居住在丰后的消息后，纷纷遣使向伊东义佑送来密书，相约“若大友家发兵南下进攻岛津家，我等必开城相迎，并能担任大友军的先导役。”