写《清史稿》的人说了一句公道话：此时的张廷玉确实又老又病，已经不适合担任任何工作了。乾隆考虑到这种情况，又通融了一步，在张廷玉77岁那年正月，又批示：可以每隔十天去一趟办公室，每隔四五天去一趟皇宫和皇上商量工作；到这年冬天，恩准养病。到这分上，张老干部更加不好意思谈退休的事了。
在张廷玉养病期间，乾隆特意派军机大臣前去慰问，嘘寒问暖中，张廷玉讲出了自己的真实想法：当着皇上的面实在不好意思提退休了，不过私下里想，还是暂时退了好。张廷玉的话讲得很保守，说是暂时退休，好像随时准备被返聘的样子。其实意思很明白，实在想退了。
乾隆扛不住了，批准退休，并且对张廷玉的归家程序作了具体指示：等来年河流里的冰块化了，坐船回京。除此之外，还写了三首诗相赠。
张廷玉离退休的事到此应该完美画上句号，他可以回家抱孙子颐养天年了。可这事还没完呢。
公元1749年，对于张廷玉来说，应该是欢天喜地的一年，经过和乾隆斗智斗勇、斗蛮斗狠的“大战”后，他总算成为离休干部了，赶紧准备行李回家去，其他的什么都不要想。
偏偏他顾虑太多，一面欢喜，一面却想起另外一件事，这件事为他的退休蒙上一层阴影。他想起了自己百年之后进皇家祠堂太庙的事，心里琢磨：现在领导答应让我退休，会不会事后报复我，让我百年后牌位进不了皇家祠堂呢？这个念头一提起来，就再也放不下了。
张廷玉慌慌张张跑到乾隆那里，很着急地说：“皇上，前几年我申请退休的时候，您说老臣是皇家祠堂的人了，不能还乡。如今您批准我退休，会不会因此不让我的牌位进皇家祠堂呢？因此恳请您给老臣写个保证书，保证我百年后牌位能安安稳稳挪进太庙。”
乾隆听了此言，觉得很不受用，但情绪还是比较稳定的，很有修养地克制着，居然给张老干部写了张保证书，保证老同志的牌位在百年后一定进入皇家祠堂，这个由先帝制定的政策，坚决不动摇，坚决执行。
张廷玉走错了第一步，紧接着又走错第二步：居然不亲自去面谢，而是派了二儿子代表自己去感谢。此时，乾隆的情绪再也没法稳定了，当即草拟圣旨，准备对张廷玉傲慢的态度进行通报批评。好在皇上身边还有张老干部的学生，一面为老师求情，一面暗中通知老师赶快过来道歉。
没想到，张廷玉走错了第三步：他慌慌张张进宫请罪道歉。结果乾隆的情绪完全失控：“圣旨还在我办公室抽屉里锁着呢，你凭什么就事先知道领导要批评你了？你是不是在我办公室安插了耳目？！”
可怜张老干部，几十年官场全白混了，三步臭棋把自己的形象毁得稀巴烂。他被通报给全体朝廷干部，进行公开批评，昔日的政敌们蜂拥而上，纷纷表态：张廷玉不停打招呼，死乞白赖要退休，居然要挟上级写保证书，我们全体官员义愤填膺，强烈要求撤销张廷玉的一切职务，其牌位不得进入太庙！
这之后，张廷玉基本消停了，他战战兢兢地待在北京，一心等着河里的冰块融化了，赶紧坐船回老家去。第二年，看看河里的冰融化了，张廷玉立即打报告申请回乡，没想到，又是一步臭棋。就在这一年，乾隆的长子定安亲王病死，他是张廷玉的学生，这学生尸骨未寒呢，家长乾隆正在伤心，张老师就递交上来一封冷冰冰的申请报告，乾隆的情绪又一次无法稳定，他严肃地批评了张廷玉，你好歹也是我儿子的老师，我这个做家长的还沉浸在丧子之痛中，你这个做老师的居然撂挑子走人，你怎么可以这样一而再、再而三伤害朕脆弱的感情？而且用词前所未有的严厉。
于是，张廷玉能否进太庙的事情进一步提上日程，乾隆马上就此事召开扩大会议，会上达成一致共识，张廷玉不配进太庙陪皇上的列祖列宗，建议取消其资格。张廷玉也深刻认识到自己的错误，对自己灵魂深处的私心进行了狠狠地抨击，主动打报告要求取消自己入太庙的资格。
带着满心的伤痕，张老干部回到了家乡，远离是非之地，总没事了吧？别急，乾隆心里还惦记着呢，就在这年九月，逮着个机会，又给张老前辈开了张罚款单：罚款15000两白银，北京的住所抄家。理由是张老干部的儿女亲家与反清知识分子吕留良有密切往来。
可怜77岁的张老前辈，三朝重臣，被少东家乾隆吓得一惊一乍的，居然还能顽强地活到83岁。大概，他是带着灵魂不能进入皇家祠堂的遗憾，走向了生命的尽头。
然而，命运又跟他开了个玩笑，少东家乾隆改变主意了，批示：准许张廷玉的牌位进入皇家祠堂。活着的时候给你一个不确定，在你死后却给你一个肯定的答案。死者已经带着精神折磨走了，生者却感恩不尽，高呼英明。