南宋政权诞生后，为对付金军、流寇与农民起义，朝廷不得不默许南渡诸大将在镇压流寇集团与农民起义时将溃兵与农民整编入伍。这样，南宋初年的兵权经历了一个由分到专的过程，日渐集中到少数将帅的麾下。
武将的政治地位也随之急剧上升，诸大将如张俊、刘光世、杨存中、韩世忠、吴玠、岳飞都官拜两镇节度使，张俊、刘光世、韩世忠还加到三镇。在经济上，他们以充实军费为名，军队经商，侵夺国家财利。武将势力做大是建炎、绍兴年间有目共睹的事实，这与宋太祖建制以来抑制武将的祖宗家法是格格不入的。
大约从建炎末年以来，不同派别的文臣就以祖宗家法扞卫者的身份提出形形色色削兵权的方案。
高宗绝非庸主，在削兵权时机未成熟前，他一方面以高官厚禄和土地财货笼络诸大将，一方面说些“势合则雄”的话头稳住诸将。
在流寇集团与农民武装已经剪除，宋金战局也大体稳定后，高宗就开始默许右丞相张浚行动了。
张浚削兵权的第一刀砍向刘光世。绍兴七年二月，高宗与张浚任命岳飞为湖北京西宣抚使，并通过岳飞给刘光世的部将颁布了一道“听飞号令，如朕亲行”的御札，做出将让岳飞率领淮西军北伐的假象，既用以稳定刘光世统领的淮西军的军心，也借此避免其他诸大将的疑忌。
岳飞满心欢喜，以为真可以实现北伐的夙愿，就向张浚提出统兵十万恢复中原的计划，高宗、张浚却突然变卦，拒绝将淮西军交给岳飞北伐。高宗的理由是，淮甸（即淮河流域之意）之兵乃驻跸行在的保障，淮甸一旦失守，朝廷何以存身？
岳飞对高宗、张浚出尔反尔十分愤慨，自请解除兵权，上庐山为母守丧。高宗对岳飞撂挑子大为震怒，但深知夺其兵柄的时机尚不成熟，便一再下诏，希望他“国而忘家，移孝为忠”，“许卿以恢复之事”，促其出山，但岳飞仍恳请守孝终制。高宗不得不下最后通牒，警告岳飞倘再迁延，“其属官等并当远窜”，威胁将严惩岳家军将领。迫不得已，岳飞只得下山统军。这次守丧事件也埋下了日后宋高宗对岳飞的杀机。
岳飞之死与削兵权关系错综复杂。削兵权并非必然要导致岳飞之死，因为三大将的兵权到最后确实已经平稳转移到三省、枢密院手里，也并没有任何反侧动乱的迹象，高宗完全可以对他们“保全于始终”。
但高宗与秦桧在和议、削兵权以及杀岳飞问题上各怀鬼胎，互相利用。在秦桧看来，岳飞成为他向金投降的最大障碍，不杀岳飞，难成和议；而从高宗角度看，杀岳飞主要并非为了和议，更重要的是所谓“示逗留之罚与跋扈之诛”，杀鸡儆猴，以便他驾驭诸将，也因为憎恶岳飞“议迎二帝，不专于己”，替自己出一口恶气。在岳飞之死的问题上，高宗、秦桧都在玩弄“交相用而曲相成”的把戏。于是，岳飞非死不可。
宋金“绍兴和议”是在岳飞被害前一月签署的，这也反证：即便为屈膝求和，高宗也是完全可以不杀岳飞的。从当时宋朝立场看来，称臣、割地、纳币，绍兴和议无疑是一个屈辱的条约，更何况宋朝在对金战争中还略占上风。从大历史的角度看，绍兴和议最终决定了宋金两国地缘政治达到了相对平衡状态，宋金两国都已不堪连年战争，绍兴和议是对宋金南北对峙格局的正式确认。
岳飞死后八个月，作为绍兴和议的交换条件，绍兴十二年（1142年）八月，金朝把宋徽宗的梓宫与宋高宗的生母韦太后归还给南宋，高宗上演了一场“皇太后回銮”的“孝道”戏。据说，徽宗棺椁里并无尸身，金人只放上了一段朽木，高宗也不敢开棺验尸，他怕再蒙羞辱。而韦氏在金朝也受尽侮辱，她被金将完颜宗贤占有达十五年之久，生有二子。高宗煞费苦心地把自己母亲被俘时的年龄从三十八岁改到四十八岁，就是为了让世人相信，种种传闻只是金人的诽谤而已。
绍兴和议还有一个附带条件，就是“不许以无罪去首相”，这就剥夺了高宗对秦桧的罢免权，确保其相权不可动摇。于是，绍兴和议以后直到秦桧死前，南宋政治空气呈现出一种前所未有的窒息和黑暗。