唐玄宗开元二十四年（736）十一月，一代名相张九龄被罢免，接替他担任中书令的是李林甫。张九龄是武则天留给唐玄宗的治国人才之一，文采出众、才干过人、人品正直、风度卓然。李林甫，世人称之“口有蜜，腹有剑”，为人阴险狡诈，排除异己。雄才大略的唐玄宗为何会舍名相而用“奸相”？
政治形势所趋
唐玄宗即位以来，唐朝的社会政治、经济与军事局势都发生了巨大的变化。为了应对繁杂的国家行政事务，国家迫切需要富有“吏干”的事务性人才。开元二十五年（737）二月敕：“自今明经问大义十条，对时务策三首；进士试大经十帖。”开始对科举考试的内容有所调整，加强对时务能力的考查。李林甫能够最终取代张九龄成为最高辅政首长，是与这种政治形势的要求相吻合的。
从中枢政治斗争的惯性来看，张九龄与李林甫之间的人事更替，其实与开元十四年（726）宇文融等与张说的斗争是一脉相承的。宇文融倒张之时，李林甫就是一员深得宇文融赏识的干将，张九龄则是张说当年大力奖掖的属下。这次斗争的结果从表面上看是两败俱伤，张说被唐玄宗罢去宰相之位，宇文融则被贬为外州刺史。
唐玄宗在张说之后再次起用张九龄，确实如吴宗国先生所说的是想用“那些既有文学才华，又有政治才能的人来执掌朝政”。事实上，二张在主政中书门下时，既有令唐玄宗欣赏的文学才能，又具有不凡的政治才能。只是随着皇位的稳固、经济的繁荣、社会局势的安定，巨大的成功与帝王的成就感使他不再为营造一个持续发展的政治环境而努力，尤其是他无法忍受宰相的作为与他的意志相悖。
不能与皇帝同频
大约在开元二十三年前后，唐玄宗通过几件事试探过宰相成员的政治态度。
一是对幽州节度使张守珪的封赏。开元二十三年（735），因为张守珪防御东北强蕃契丹成效卓着，唐玄宗想给张守珪加宰相的名号以示褒奖。中书令张九龄以“宰相者，代天理物，非赏功之官”为由表示反对。由于张九龄的反对，唐玄宗只能在张守珪来东都献捷时拜他为羽林大将军兼加御史大夫的宪衔，而没有加上宰相称号。
二是返回西京长安。由于种种原因，尤其是关中地区粮食供应紧张，唐朝天子经常往返于西京长安与东都洛阳之间。唐玄宗此次到达东都的时间是开元二十二年（734）正月。对于西归，先前已经颁敕准备在开元二十五年（737）二月二日动身，因宫中有怪异，唐玄宗就打算提前西行。中书令张九龄认为“今农收未毕，请俟仲冬”，即至少要等到十一月才可以。另一位宰相、侍中裴耀卿也附议。时以同中书门下三品出席宰相会议的李林甫则持不同看法：“长安、洛阳，陛下东西宫耳，往来行幸，何更择时！借使妨于农收，但应蠲所过租税而已。臣请宣示百司，即日西行。”对此建议，“上悦，从之”。从此，唐玄宗对宰相成员的态度逐渐开始发生转变。
三是委任牛仙客为尚书。开元二十四年（736）秋，先前接替萧嵩任河西节度使的牛仙客出任朔方行军大总管（《通鉴》作朔方节度使），他在河西任上“能节用度，勤职业，仓库充实，器械精利。上闻而嘉之，欲加尚书”。中书令张九龄“执奏以为不可”，认为“尚书，古之纳言，唐兴以来，惟旧相及扬历中外有德望者乃为之。仙客本河湟使典，今骤居清要，恐羞朝廷”。唐玄宗无奈，又想为牛仙客加实封。在与宰相商议时，张九龄仍然加以谏阻。这时，李林甫言于上：“仙客，宰相材也，何有于尚书！九龄书生，不达大体。”唐玄宗“大悦”。在次日朝会上讨论时，张九龄仍然不肯让步，坚持认为，自己蒙皇帝擢居宰辅，与牛仙客并无私怨，但牛仙客出身小吏，目不识字，“若大任之，臣恐非宜”。由于张九龄的坚持，唐玄宗没有马上如愿。李林甫在退朝之后表态说：“但有材识，何必辞学，天子用人，何有不可？”对比李林甫的态度，唐玄宗对多次违背自己意愿的张九龄越来越不满意。
《资治通鉴》说：“是时，上在位岁久，渐肆奢欲，怠于政事。而张九龄遇事无细大皆力争。”身居如此要职却不能与皇帝同频，不能忠实地执行皇权意志，必然引起皇帝的不满，再加上“李林甫巧伺上意，日思所以中伤之”，张九龄也就不可避免地一步步陷入政治灾难之中。
恪守职责还是效忠皇帝
史言李林甫“面柔而有狡计，能伺候人主意，故骤历清列，为时委任。而中官妃家，皆厚结托，伺上动静，皆预知之，故出言进奏，动必称旨”；或谓他“善刺上意”“善养君欲”。
正是因为灵活处理国家事务，尤其是准确理解和忠实执行皇权意志的能力，让唐玄宗逐渐感觉到李林甫等人的善权变。李林甫也因此逐渐成为唐玄宗信赖的辅弼之才。开元二十四年（736）十一月，蔚州刺史王元琰犯贪污罪下三司，唐玄宗因这起普通案件罢免了张九龄的中书令一职，改任他为尚书右丞相，将他排除在政治中枢之外。同时被罢知政事的还有侍中裴耀卿，改任他为尚书左丞相。李林甫兼任中书令。
张九龄按照士大夫对国家制度的理解来恪守传统意义上的宰相职责，忠于现行国家体制，但不懂得根据新情况与皇帝保持政治上的一致，又在一些诸如执法等问题上被皇帝抓住把柄。李林甫则以务实的态度面对变化了的国家局势，他所效忠的是唐玄宗，而不是这个已经发生了巨大变化并且正在发生更大变化的国家现有体制，旧史中评论他“每事过慎，条理众务，增修纲纪，中外迁除，皆有恒度”，正说明他的一切工作是在皇帝所允许的范围内开展的，且是为了实现玄宗本人的政治目标与理想。
从个人的政治品格来看，张九龄的表现更具有宰相的政治责任感，李林甫则多了一些服从与依从的奴才相。李林甫的“动循格令”，实际上就是忠实执行皇权意志。不过，李林甫在主持或参与修定新的律令条文（包括奉敕纂注《唐六典》）以及处理种种复杂的内外军政事务时所展现的政治才能，也表明他的确是应时而出的人才。