岳飞戎马一生，并没有多少时间闲下来谈情说爱。历史上有关岳飞女人的记载并不多，有凭有据的，只有三个女人。一、两次改嫁的绍发妻子第一个女人是刘氏，她也是岳云和岳雷的生母。刘氏与岳飞大约于徽宗政和八年结合，这是根据岳云的出生年月(宣和元年六月)推算出来的。可惜此女不能守节忍受艰苦，先后两次改嫁。《会编》卷二百七是这样描述的：岳飞执掌兵权之日，遣使王忠臣前往楚州韩世忠处送信，王忠臣得到回信准备返回。这时，韩世忠嘱咐王忠臣回去告诉岳飞，他的结发妻子嫁给自己手下的一个押队，叫他快点来接结发妻子回家。岳飞听到王忠臣的密报后，不作回答。结果被韩世忠这个大嘴捅到了皇上那里，岳飞迫不得已上奏说：“当初渡河的时候，把妻子留在家中侍奉老母，没料想这厮竟然改嫁两次，我真是切骨恨之呀。已经派人给她送了五百贯(两三贯已够一个三口之家生活一个月)，来帮助她家用，恐怕天下不知道这件事情的原委，(以免有抛弃妻子的谤言流传)。”
二、一段风流韵事第二个女人只是一段风流韵事的传奇，事见《金佗稡编》卷9《遗事》。岳飞家里向来没有姬妾侍奉，有一天黄纵(这家伙相当于岳飞的机要秘书)出门干公务，听说岳飞纳士族之女为妾的传闻。黄纵回来以后赶紧询问岳飞，岳飞说：是有这么回事，四川的吴玠(另一中兴名将)派人来我这里议论军事上的事情。我请他吃饭，他诧异于饭桌上的冷落(也就是没有歌伎之类助兴了，宋时豪门宴会，酒菜并不放桌上，而是一伎捧着一个盘子，轮流上来敬客。)，回去就告诉了吴宣抚。于是吴玠以为是岳飞眼光太高，就破费两千缗(贯)买了一个士族女子送给岳飞。岳飞也绝，他知道这事情后，没有见这位名姝，只是让她立在屏风后面，告诉她：我们家上上下下皆穿麻衣，吃的也只是咸菜粗粮，您要是能和我同甘共苦就留下吧，如若不然，还是请回吧。那个女子吃吃的笑了，岳飞就把她打发回去了。三、执子之手，与子携老岳飞的第三个女人便是与他“执子之手，与子携老”的李娃。李娃（1101年-1175年），字孝娥，宜兴（今属江苏）人。1130年春，岳飞在宜兴张渚娶李娃为妻。李娃是南宋抗金英雄岳飞第二任夫人，岳飞夫妇俩感情也是极好，李娃可以说是岳飞的贤内助，她聪颖贤惠、有胆有识，她日夜协助岳飞布置军事，受到将士们的赞誉。据王曾瑜先生考证：李娃在建炎四年居宜兴，生岳霖，则应在建炎二三年间嫁岳飞。她比岳飞年长两岁，嫁时已有二十八九岁。李娃是个非凡的女人，岳飞不在军中，李娃听说岳飞的某个部下打算谋叛，一声不吭。直到布置妥当才齐集诸将，当众宣布了调查结果，将毫无防范的叛将捉住斩首。不过，岳飞对李娃严加限制，只许她“抚其妻、子，以恩结之，得其欢心”了。从绍兴十一年到绍兴三十一年，二十一年间李娃率领岳飞的子女在岭南苦度日月。他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月到监管人处呈身。在这样的境遇中，李娃都能够“居患难不改幽闲之操”，令世人敬仰佩服。