李元度乱中逃生后，在浙赣边境游荡，经久不归。后来虽然回到祁门，但并不束身待罪，不久又私自离去。曾国藩悔恨交加，一气之下，决定具疏严参，以明军法，并自劾用人不当，请求处分。
李鸿章受命撰写弹劾文书，不仅拒绝起草，而且率众坚决反对，理由是李元度失败的根本原因是曾国藩用人不当。还说李元度“到防不数日，猝遇大敌，守无备之城，又数日而陷，非其罪也”。如果因为李元度“不遽回祁门加以严劾”，是无论如何都说不过去的。
总之，在李鸿章看来，李元度是个典型的读书人，豪言壮语颇多，带兵作战能力较差，不是一位将才。曾国藩也深知李元度的短处，却派他领着一支数量不多且是新招募的部队防守兵家重地徽州，兵败后又要严词纠参，这是毫无道理的。况且李元度在曾国藩最困难的时候有恩于他，因此，于公于私都不能做得太绝情。
曾国藩则认为私情不能代替军纪，李元度违令失城之罪如果不究，那么将来人人效法，湘军军纪还如何维持？因而坚持弹劾。
两人谁也说服不了谁，一时心急，难免情绪失控。李鸿章来了脾气，说 ：“如果一定要弹劾，门生不敢起草。”
曾国藩一听，火往上冒，说 ：“我自己会写。”
李鸿章想不到老师会说出这种绝情的话来，也就无所顾忌地说道：“若是这样的话，门生亦将告辞，因为留在这里已经毫无意义，只能离恩师而去了。”
正在气头上的曾国藩也失去了冷静，说：“脚在你身上，想走就走！”
如果说“祁门移军”之争还只是停留在工作意见相左的层面上，那么，因李元度事件而产生的分歧和对立，两人针尖对麦芒，谁也不让谁，就是明显的意气用事了。
两人已经把话说死，谁都不愿意先服软，李鸿章面前只有一条道可走。不久，他果然负气出走，离开了曾国藩。
咸丰十一年六月初六日，在他人劝和下，又经曾国藩深情敦促，早已心生悔意的李鸿章返回了曾国藩幕府，曾对他也“礼貌有加于前，军国要务，皆与筹商”。
之所以如此，一方面是曾国藩十分看重李鸿章的能力，特别重视和珍惜他这个人才，另一方面，正如吴汝纶所说，李鸿章能以个人进退坚守自己立场的刚毅性格，曾国藩也是颇为欣赏的。
然而，重返曾幕后的李鸿章，敢说真话的性格依然故我。李鸿章平生虽然最佩服曾国藩，有时甚至把曾当作神灵一样敬奉，但对其缺点和不足，不仅很少讳饰，而且常常当着曾国藩的面毫不客气地说出来。
重回曾国藩幕府仅三周后的咸丰十一年六月二十八日晚上，曾国藩和李鸿章在东流两江总督府后院边乘凉边聊天，当说到曾国藩的短处时，李鸿章脱口而出：“您处理事情比较迟缓，缺乏魄力，不果断。”曾国藩认为李鸿章点到了问题的要害，于是在当天日记中深有感触地写道：“与少荃久谈，至二更三点始散。论及余之短处，总是儒（懦）缓，与往年周弢甫所论略同。”
与周腾虎一样，李鸿章的“可爱”之处就在于，他说话不会看人眼色，更不会投其所好，阿谀奉承，而是直抒己见，坦诚相待。曾国藩对此恰恰十分欣赏，哪怕李鸿章反对错了也不计较。一个敢于直言，一个胸怀宽广，这就是曾、李二人十分投缘的地方。日后曾国藩选定李鸿章而不是别人做接班人，也就不足为奇了。