克复襄汉后，岳飞面临的是新恢复的中原地区的后勤防务问题，这是以后直到金哀宗时金国被灭中原被克复后都一直困扰宋军的问题。这些地方因为“久罹兵火”，原来的居民“或被驱虏，或遭杀戮，甚为荒残”，以至于“百里绝人，荆榛塞路，虎狼交迹”，“野无耕农，市无贩商，城郭隳废，邑屋荡尽，而粮饷难于运漕”。凡是这样克复失地的宋军，都有一个两难的防务问题：“若少留将兵，恐复为贼有”；“若多留将兵，唯俟朝廷千里馈粮，徒成自困，终莫能守”。
因为后勤的问题，岳飞只能将主力撤回，留少量兵力戍守。张旦被任命为唐州邓州郢州襄阳府安抚使、兼襄阳知府，牛皋为安抚副使，李道任唐州邓州郢州襄阳府四州都统制，配置军士两千人，守卫襄阳府；周识和李旦率一百五十名军士守郢州；孙翚和蒋廷俊率两百名军士守随州；舒继明和訾谐守信阳军；戍守襄阳府的两千人中分拨出来一部分，由高青和单藻带领守唐州，由张应、党尚友和邵俅带领守邓州。这些官员在收复的防区内整治防务，恢复生产。伪齐刘豫李成的军队虽然不时骚扰，却始终不能夺回襄汉六郡的控制权。
襄汉六郡原来分属京西南路和京西北路，这次收复之后，宋廷为统一管理，单设襄阳府路。除在襄阳府设安抚使司外，不按制度设置“差监司”、即转运使司等文人监军系统，“止委制置使岳飞措置”。这是战时对宋朝历来的文人控制武将军队的反动，对提高军队的战斗力有一定的影响。
此时岳飞作为武将不敢居功，上奏说自己“人微望轻，难任斯职”，要辞去制置使并请求宋廷另“委任重臣，经画荆、襄”。宰相赵鼎认为：“湖北鄂、岳，最为沿江上流控扼要害之所，乞令飞鄂、岳州屯驻。不惟淮西藉其声援，可保无虞，而湖南、二广、江、浙亦获安妥。”宋高宗同意赵鼎的主张，确定岳飞改驻荆湖北路的首府鄂州，自此岳家军的大本营就定在了鄂州。
绍兴五年，岳家军的规模从三万多人的规模增加到十万人左右的规模。这是因为杨幺军的壮丁五、六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部，和此后增拨的统领丘赟所部；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部；以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。岳家军以后也大体维持十万左右这个数量直到岳飞被宋高宗和秦桧所害。
绍兴五年年，由于岳家军的兵力变成了原来的三倍，岳家军也从原先十将的编制扩充至三十将的编制，每将的平均兵力是三千多人。到绍兴九年岳家军增至八十四将，每将的平均兵力减至一千二百余人。
岳家军至少有十二统制“军”：背嵬军；前军；右军；中军；左军；后军；游奕军；踏白军；选锋军；胜捷军；破敌军；水军。其中背嵬军是绝对主力，名字学自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其它军名都是增长士气的军号。
据绍兴九年统计，这十二军共有二十二名统制、五名统领和二百五十二名将官分别率领，其中有正将、副将和准备将各八十四名。王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战；此五人是岳家军的中坚人物。
绍兴六年岳飞第二次北伐前，有两件事影响了他的布置。
一是目疾。自四年着手建立岳家军后，岳飞连续六年在夏天剿匪、在冬天抗金和伪齐。尤其是夏天在南方湿热的气候中用兵，是岳飞这个河北人所不适应的。绍兴五年夏六月，平定杨幺后，岳飞病势加重，‘两目赤昏，饭食不进’，‘四肢堕废’，以至于不得不上奏恳请解除军务养病。宋高宗当时倾向主战，回绝了岳飞的申请，反而说岳飞‘措置上流事务，责任繁重’，‘卿当厉忠愤之素心，雪国家之积耻，勉副朕志，助成大勋’。经过治疗，到了秋冬季，岳飞的目疾有所好转。
二是岳母姚氏于绍兴六年三月二十六日去世。岳飞是历史上有名的孝子，和老母在一起时总是全天侍侯，亲自调药换衣，无微不至。姚氏死后，岳飞和岳云等人扶着其灵柩，光着脚徒步走到江州的庐山。丧葬完毕，岳飞就留在东林寺中为母守孝。按古代礼法，岳飞必须‘丁忧’三年，如有特殊情况方可‘起复’，即居官守丧。岳飞要坚持礼法，但满朝上下均一致反对。宋高宗命宦官邓琮到东林寺请岳飞起复，岳飞‘欲以衰服谢恩’，邓琮坚持不允，但岳飞‘三诏不起’。最后，宋高宗对岳飞及其部下下达了严厉的警告，说岳飞‘至今尚未祗受起复恩命，显是属官等并不体国敦请’，‘如依前迁延，致再有辞免，其属官等并当远窜’。主战派李纲也单独给岳飞写信说，‘宣抚少保以天性过人，孝思罔极，衔哀抱恤’，恳切希望他不要‘以私恩而废公义’，‘幡然而起，总戎就道，建不世之勋，助成中兴之业’。岳飞终于下了决心放弃礼法，重返鄂州后带兵镇守襄汉，同时将姚氏‘刻木为像，行温凊定省之礼如生时’。
主战派宰相张浚从绍兴六年正月起到前线视师。中兴四将岳飞、韩世忠、刘光世、张俊都被召到镇江府的都督行府商议军事。张浚向宋高宗称赞韩世忠忠勇、岳飞沉鸷，可以倚办大事。三月，宋廷任命韩世忠为京东、淮东路宣抚处置使，岳飞为荆湖北路、京西南路宣抚副使，并且移镇为武胜、定国军节度使。此次都督行府军事会议决定由韩世忠自承州、楚州出兵攻京东东路的淮阳军，由岳飞自鄂州出发到襄阳府然后北伐，由张俊自建康府出发到泗州，由刘光世由太平州出发到庐州，由杨沂中的殿前司军作为其旧上司张俊一军的后援。韩世忠和岳飞主攻，张俊和刘光世主守。
二月中旬，韩世忠发动了攻势，但岳飞还在临安府觐见宋高宗，无法配合。韩世忠在淮阳军宿迁县（今江苏宿迁市）击败伪齐守军，围困了淮阳军城池。但六天后，伪齐援兵赶到，韩世忠被迫撤退。
当时都统制王彦患重病，其“八字军”驻荆南府，和岳家军的防区相邻。二月，左相赵鼎和右相张浚决定将“八字军”移屯襄阳府，由王彦出任襄阳府知府兼京西南路安抚使，归岳飞节制；以便一旦王彦病故，就把“八字军”并入岳家军。但王彦因旧事不接受这项任命，并且健康又有好转，宋廷遂将“八字军”调驻临安府。这样一来，岳家军没有增强军力，反而要接管“八字军”的荆南府防区分散兵力。
七、八月间，岳飞再次出兵，以春季刚刚投降的原伪齐虢州栾川县知县李通为向导进行第二次北伐。先锋左军统制牛皋迅速攻下自己故乡汝州鲁山县附近的伪齐镇汝军，活捉守将薛亨。薛亨在十一月时，由岳家军参议官李若虚押送至临安府，宋高宗命他在岳家军中戴罪立功，结果二十多年后，他仍在鄂州军中服役。牛皋又继续攻下颍昌府大部和蔡州附近进行佯攻。岳飞率主力则往西北方向进攻。八月初，王贵、董先、郝晸等攻占虢州州治卢氏县，缴获粮食十五万石。岳家军旋即攻占了虢略县、朱阳县和李通原来当官的栾川县。王贵继续西向攻克了商州全境，包括上洛县、商洛县、洛南县、丰阳县和上津县。
商州、虢州都属陕西路，是吴玠的战区。吴玠部将邵隆早已上奏要收复这两地，并已被宋廷任命为商州知州。岳飞攻克商州后，便催促邵隆尽快赴任，以便腾出岳家军的人马继续征战。
岳家军继续攻取伪齐顺州、州治伊阳县。八月十三日，伪齐顺州安抚司都统制孙某与后军统制满在，在长水县的业阳迎战岳家军悍将杨再兴，被击溃。孙某等五百余人被阵斩，满在等一百多人被生擒。十四日，杨再兴又击溃伪齐顺州安抚使张某的二千多人。十五日夜间，岳家军夺取长水县城，缴获粮食二万石，并夺取了一个伪齐马监，得马万匹。接著顺州另外两县永宁县和福昌县也被攻克。李纲在接到岳飞的捷报后写信说：‘屡承移文，垂示捷音，十余年来所未曾有，良用欣快。’
但此时在陜西附近的山区作战，后勤供应线过长造成粮草不足。岳飞只得班师，留王贵等戍守。但商州的全境和虢州的部分地区从此为南宋所控制，邵隆在年底赴商州就任知州，“披荆棘，立官府，招徕离散，各得其心”，逐渐将商州建设为要塞和下一次进攻的后勤基地。
九月下旬，岳飞回到鄂州后目疾再次剧烈发作，白天的时候，连卧室的窗户都必须全挡住才行。宋廷闻讯后，特派眼科医官皇甫知常与和尚中印两人急驰鄂州为岳飞治疗，方得好转。
岳飞在这次北伐中壮志未酬，于武昌写下《满江红》。
怒发冲冠，
凭栏处，
潇潇雨歇。
抬望眼，
仰天长啸，
壮怀激烈。
三十功名尘与土，
八千里路云和月。
莫等闲、白了少年头，
空悲切。
靖康耻，犹未雪；
臣子恨，
何时灭！
驾长车、踏破贺兰山缺。
壮志饥餐胡虏肉，
笑谈渴饮匈奴血。
待从头，收拾旧山河，朝天阙。
七月初，完颜宗弼在顺昌之败一个半月后，得到了盖天大王完颜宗贤等的援军，在探知岳飞本人在郾城指挥岳家军后，全军出动试图突袭郾城这个岳家军总部，导致一场主力之间的大决战。
八日，探马报告岳飞：完颜宗弼领龙虎大王完颜突合速、盖天大王完颜宗贤、昭武大将军韩常等将，精锐马军共一万五千多骑神速出现在距郾城只有二十多宋里的路上。岳飞命令岳云率领背嵬八千马军和游奕军的马军出城迎击，并说：“必胜而后返，如不用命，吾先斩汝！”金军后续部队不断到达郾城投入战斗。岳云的马军不断打退金军的冲锋。岳家军悍将杨再兴声称要活捉完颜宗弼，单骑冲入金军队伍中，杀金军将士数十。
完颜宗弼久攻不下，下令将重铠“铁浮图”投入战斗。岳家军精锐步兵早有准备，以重斧上劈敌胸，下斫马足，铁浮图损失惨重。宗弼又投入拐子马，亦被击退。战局胶着时，岳飞亲率四十精锐亲兵铁骑突出阵前。都训练霍坚怕有闪失，上前劝阻：“相公为国重臣，安危所系，奈何轻敌！”岳飞回答“非尔所知！”跃马冲出以箭射金军阵地。岳家军将士看到统帅亲自出马，顿时全力死战。杀到天黑，完颜宗弼全军溃败逃走。岳家军获得了“郾城之战”的完胜。
十日下午，完颜宗弼组织了一千多人的骑兵，进攻郾城县北的五里店。岳飞率领军马出城，令背嵬军将官王刚带五十多骑前往侦察。王刚砍死带头的金将，在其尸体和马鬃上，分别摘到两个红漆牌，上面写有“阿李朵孛堇”字样。
十三日，张宪率背嵬军、游奕军、前军等主力进入完颜宗弼残军所在的临颍县，再次寻求和其决战。将官杨再兴和王兰、高林、罗彦、姚侑、李德等三百骑前哨在抵达临颍县南的小商河时，与完颜宗弼的主力猝然相遇。和杨再兴三百骑交手的金国骑兵中高级军官很多，最后被杀的包括万夫长撒八、千夫长、百夫长、五十夫长等百余人。其他金兵射箭如飞蝗，杨再兴身上每中一箭，就随手折断箭杆，铁箭头留在肉中继续冲杀，最后马陷泥中，终于被射死，三百将士也全部阵亡，而金军则付出更大的代价，死上千人。
小商河一战之后，完颜宗弼或因为惧怕背嵬军的这种惊人的战力、或因为自身战术需要，没有和张宪的岳家军主力决战，留下八千金兵守临颍县，自己带领残余主力转攻颍昌府。十四日天明，张宪军攻占临颍县，八千金兵或往颍昌府方向，或往开封府尉氏县方向逃走。张宪军找到杨再兴的遗体，火化以后竟烧出铁箭头二升有余。
四日上午，完颜宗弼得到增援，投入剩余全部主力攻颍昌府城，其中有六个万夫长，号称骑兵三万多骑、步兵十万名，绵延十多宋里，锣鼓喧天。
在颍昌府的岳家军共有五个军，然而除踏白军是全军外，中军统领苏坚在西京河南府，选锋军统制李道在外地，背嵬军和游奕军主力又在郾城县和临颍县，都只是一部分甚至一小部分，主帅岳飞也不在此地。颍昌府岳家军统帅王贵自己和姚政、岳云等率八百名背嵬军和一部分中军、游奕军出城决战，令统制董先率踏白军，副统制胡清率选锋军守城。
二十二岁的岳云率领八百名背嵬军，和金军主力左、右拐子马苦战几十回合，前后十多次出入敌阵，身受百余处创伤。大多出城决战的岳家军杀得“人为血人，马为血马”，王贵甚至有些气馁怯战，想要逃走，被岳云劝回。到了正午，守城的董先和胡清分别亲率踏白军和选锋军差不多五千人出城增援，完颜宗弼全军溃败逃走。
颍昌之战中和岳云的八百名背嵬军交手的金国骑兵中高级军官很多：完颜宗弼的女婿万夫长夏金吾阵亡；副统军粘汗孛堇身受重伤，抬到开封府后死去；金军千夫长被格毙五人。岳家军活捉汉人千夫长王松寿、张来孙，千夫长阿黎不，左班祗候承制田瓘等七十八名敌将，金兵横尸五百馀，被俘二千多人，马三千多匹。
岳家军然后全线进击，包围开封。七月十八日，张宪同徐庆、李山、傅选、寇成等诸统制从临颍县率主力往东北方向进发，将路上遭遇的金骑数千击溃，“横尸满野”，缴获战马一百多匹。同时，王贵自颍昌府发兵，牛皋也率领左军进军。
至此，在刘豫的伪齐垮台后，南宋主力岳飞的岳家军和金国主力完颜宗弼的女真军第一次抛开这个垫在中间的缓冲进行了一场真正的较量。郾城之战中完颜宗弼的女真“铁浮图”军覆没、女真左右“拐子马”军受重创，小商河之战和颍昌之战中完颜宗弼的残余“拐子马”军很反常地损失了很多百夫长以上的女真高级军官，当时因出使金国被拘留在燕京的洪皓在家书中说：“顺昌之败，岳帅之来，此间震恐。”岳飞也为捷报频传而高兴，很乐观地向部下说自己要破酒戒：“今次杀金人，直到黄龙府，当与诸君痛饮!”。
七月十八日，即张宪从临颍杀向开封之时，第一道班师诏送达。岳飞鉴于当时完胜的战局，写了一封奏章反对班师：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。”
隔了两三日，朱仙镇已克，完颜宗弼已逃出开封之时，岳飞在一天之内接连收到十二道用金字牌递发的班师诏。其中全是措辞严峻、不容反驳的急令，命令岳家军必须班师回鄂州，岳飞本人则去“行在”临安府朝见皇帝。宋高宗发十二道金牌的时间，大约是在七月十日左右，即他得到七月二日克复西京河南府捷报不久。
岳飞收到如此荒唐的命令，愤惋泣下，“十年之功，废于一旦。”然而友军已经撤退，岳家军孤军难支，不得不下令班师，百姓闻讯拦阻在岳飞的马前，哭诉说担心金兵反攻倒算：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”岳飞无奈，含泪取诏书出示众人，说：“吾不得擅留。”于是哭声震野。岳飞决定留军五日，以便当地百姓南迁，“从而南者如市，亟奏以汉上六郡闲田处之。”
岳飞前往“行在”临安府的路途已走了大半，期间不断接到宋高宗的手诏，以及秦桧以三省、枢密院名义递发的省札。尽管内容自相矛盾颠来倒去，最后仍是令岳飞“疾驰入觐”，“赴行在奏事”。当岳飞听到中原传来的宋军败讯，只能长叹：“所得州郡，一朝全休！社稷江山，难以中兴！乾坤世界，无由再复！”，结果岳飞的第四次北伐因为政治原因而失败。
之后，岳飞父子被秦桧以谋反罪名予以逮捕审讯，由于找不到证据而无审讯结果，最终秦桧以“莫须有”的罪名。绍兴十一年农历十二月廿九除夕之夜，一代名将岳飞及其儿子岳云、部将张宪在杭州大理寺风波亭内被杀害。岳飞被害前，在风波亭中写下八个绝笔字：“天日昭昭，天日昭昭”
岳飞被害后，狱卒隗顺冒了生命危险，将岳飞遗体背出杭州城，埋在钱塘门外九曲丛祠旁。隗顺死前，又将此事告诉其儿，并说：岳元帅尽忠报国，今后必有给他昭雪冤案的一天！岳飞沉冤二十一年后，绍兴三十二年，宋孝宗即位，准备北伐，便下诏平反岳飞，追封鄂王，谥武穆，忠武，改葬在西湖栖霞岭，即杭州西湖畔“宋岳鄂王墓”，并立庙祀于湖北武昌，额名忠烈，修宋史列志传记。