首先，是奸臣的挑拨。绍兴七年三月，刘光世被罢免军职，赵构准备将他统领的王德、郦琼部交给岳飞指挥。可是时任枢密使的秦桧和宰相张浚都表示反对，并且提醒赵构，将军手中权力太大，会尾大不掉。于是，赵构收回成命。几天之后，张浚询问岳飞：“王德为淮西军所敬服，我想任用他为都统，让吕祉以都督府参谋的身份率领这支部队，怎么样？”岳飞回答：“王德和郦琼不相上下，一旦提拔王德，郦琼必定不服。吕祉不熟悉军队，恐怕难以服众。”张浚问：“那么张宣抚这人怎么样？”岳飞回答：“他为人残暴而缺乏智谋，尤其为郦琼所不服。”张浚又问：“那杨沂中呢？”岳飞回答：“杨沂中与王德差不多，如何统驭得了这支军队？”张浚讥讽道：“你的意思是非你不可喽？”岳飞说：“都督郑重其事地征求我的意见，我不能有所保留，哪里是想要这支兵马的指挥权？”岳飞表明自己对权力不感兴趣，上奏请求解除兵权，然后穿上孝服，让张宪代理指挥军队，自己步行来到母亲的墓旁搭了一座小屋，为母亲守丧。张浚大怒，让张宗元任宣抚判官，监督岳飞的军队。赵构下了几次诏，岳飞才回到部队。可以想见当时岳飞内心该有多愤怒。但是，岳飞的清高负气，同样在赵构心中埋下怨恨，只是当时还离不开岳飞，所以才没翻脸。可是，这种表面的和谐很快就维持不下去了。
绍兴十一年，宋军在柘皋（今属安徽巢湖）地区击败了金军的进攻，金国方面明确表示愿意议和。为了排除议和的障碍，皇帝赵构和宰相秦桧借口表彰参战将领的功绩，将岳飞、韩世忠、张俊等人召来，让韩世忠担任枢密使，张俊和岳飞担任枢密副使。赵构此举其实是为了解除几人的兵权，把他们明升暗降，留在身边便于控制。韩世忠对朝廷的任命感到非常意外。其实，这时朝廷针对“韩家军”的行动已经开始了。
韩世忠麾下的“韩家军”纪律严明，战斗力很强，曾在对金作战中立下汗马功劳。但赵构不能容忍朝廷的军队成为某位将军的“家军”，而宰相秦桧一心想同金国议和，韩世忠却一直反对议和，秦桧派使者去金国议和时，韩世忠就曾派出士兵试图劫持使者，破坏议和，后来消息走漏，使者绕道去了金国，但此事让秦桧对韩世忠怀恨在心。
为了除掉韩世忠，秦桧先设法挑拨岳飞、韩世忠的关系。他让岳飞搜集韩世忠的活动情况，说是皇上的旨意，防止韩世忠叛变，这显然是故意制造岳飞与韩世忠之间的矛盾。同时又对张俊许诺，只要他能够约束“韩家军”和“岳家军”，以后就由他统帅全国兵马。张俊就这样成了秦桧的人，受秦桧委托到“韩家军”的驻地楚州，名义上是慰劳军队，实际上是瓦解“韩家军”，又故意让岳飞同行。岳飞事先并不知道张俊的真实意图，当张俊开始瓦解“韩家军”时，岳飞才恍然大悟，表示强烈反对，然而根本不起作用。
消除了“韩家军”的威胁，秦桧还不满意，他想治韩世忠的罪，让他永世不得翻身。为了达到这个目的，秦桧收买了韩世忠的部将胡纺，让他诬告“韩家军”的将领耿着试图谋反，以此牵连韩世忠。胡纺立刻照办，秦桧马上下令逮捕耿着。岳飞得知消息，立刻将秦桧的阴谋通知韩世忠。韩世忠收到岳飞的信后，马上求见高宗皇帝。赵构听说大吃一惊：“怎么可能有这种事？”立刻召来秦桧质问。秦桧只好匆忙了结耿着一案，让耿着免于一死。岳飞救了韩世忠一命，却彻底得罪了秦桧。
按照常理，岳飞救了韩世忠，二人应该紧密地联合在一起，共同对付朝中的奸臣，那么赵构和秦桧就不敢轻易对他们下手了。可是岳飞高风亮节，不屑于拉帮结派，韩世忠经过这场挫折，便连续上书，请求免去自己的枢密使一职，然后“杜门谢客，绝口不言兵”。一个高风亮节，一个明哲保身，正中秦桧下怀。
与此同时，金国对待南宋政府的态度开始发生变化。因为，绍兴十年（1140年）的颍昌大战，金军遭受重创，完颜宗弼不得不承认金国在军事上已失去了优势，无法仅凭武力灭亡南宋。而且金国的士兵对岳飞的恐惧心理也与日俱增，金兵甚至称呼岳飞为“岳爷爷”。因此完颜宗弼想方设法要除掉岳飞。绍兴十年十一月，完颜宗弼在给秦桧的信中说：“尔朝夕以和请，而岳飞方为河北图，必杀飞，始可知。”
这就使赵构面对一个选择：要岳飞还是要议和？而且在议和的条件里还有一个更重的砝码，就是赵构的生母韦贤妃。绍兴七年，宋徽宗及郑皇后死于金国，赵构对大臣们说：“宣和皇后春秋高，朕思之不遑宁处，屈己讲和，正为此耳。”意思是，我的母亲年事已高，一想到她还在远方，我就坐立不安，哪怕是屈辱求和，也要接母亲回家。面对金国的使臣，赵构曾经强硬地表示：“今立誓信，当明言归我太后，朕不耻和；不然，朕不惮用兵。”显然，赵构为了求和，为了接回自己的母亲，更是为了保住自己皇帝的位子，准备做出任何牺牲，当然包括岳飞等将军的性命。
毫无疑问，赵构的态度得到了南宋朝廷绝大部分人的支持。整个南宋的朝堂上，尤其是士大夫们，根本不顾广大民众的爱国热情，无视民族的根本利益，只考虑统治阶级的利益和个人的私利。因此，他们将议和视为基本国策，一致拥护，而且迎接国母回朝是多么冠冕堂皇的借口。如果南宋王朝的士大夫中多几个敢于为民族大义流血牺牲的斗士，那么赵构和秦桧等人，怎么敢冒天下之大不韪冤杀岳飞父子呢？因此，南宋王朝那些饱读诗书的士大夫们对岳飞的遇害也负有不可推卸的责任。
总之，岳飞自己在战场上的威名与政治斗争中的高风亮节，金国人对岳飞的恐惧和对南宋政权的承认，赵构为了维护皇位对武将的防范、为议和不惜一切代价的决心，秦桧为满足金国主子的意愿和巩固自己在南宋王朝中的地位，张浚因忌妒对岳飞的排挤和倾轧，张俊为了权力不惜出卖战友，韩世忠的明哲保身，士大夫群体的自私和怯懦，种种因素叠加在一起，使岳飞之死成了历史的宿命。