咸丰十年（1860）初，清军江南大营再被太平军一举击溃，苏、浙的形势万分危急，朝廷连下八道命令催促曾国藩率部救援，并授予其两江总督实职。为配合朝廷援苏、援浙的要求，曾国藩把湘军大本营从安徽宿松搬到皖、浙、赣三省交界处的祁门县，李鸿章却大不以为然。他说，那个地方像个锅底，兵家把这样的地方称为绝地，如果把大营建在这里，等于自寻死路，从战略上看十分危险，必须赶紧离开。曾国藩不从，李鸿章再三陈说。受李鸿章移军思想的影响，湘军上下要求曾国藩移师的呼声日渐高涨。
曾国藩执意驻守祁门，主要由下列因素促成：
一是曾国藩认为，祁门地连皖、浙、赣三省，皖南东部又与江苏接壤，战略地位十分重要，目前不仅可阻太平军由浙、赣两省进援安庆之路，力保湘军粮饷重地江西、湖北以及老家湖南的安全，而且将来可为进兵苏南张本。二是曾国藩有意做给朝廷看，以表明自己坚决执行朝廷命令的态度。三是曾国藩认为，当此“军心动摇之际”，大营一旦移动，势将造成军民纷乱，出现大溃局面，还不如暂时固守祁门，“以待事机之转”。
也就是说，李鸿章建议移军完全着眼于军事，曾国藩死守祁门则是兼顾政治。在曾国藩看来，军事当然必须服从政治。正因如此，所以不管什么人劝他移军，他都固执不听，说得多了，说不定还会被他嘲笑一顿。
受到曾国藩嘲笑还算客气。有一次，李鸿章再劝曾国藩移军，曾国藩居然十分气愤地公开声称说：“各位要是胆小怕事，都离开好了！”
不久，李鸿章果然因为反对曾国藩弹劾李元度一事而负气出走。
李鸿章虽然离开了曾国藩幕府，但并未割断与曾国藩的联系，他多次直接写信劝说，或请胡林翼代劝曾国藩从祁门“及早移军”。胡林翼不仅支持李鸿章的主张，而且说李“颇识时务”。
紧接着，曾国荃也从安庆前线派人送来一封“情词恳恻，令人不忍卒读”的信件，用近乎哀求的口气请大哥迅速移军东流或建德。
更让曾国藩动心的是，在太平军攻击之下，祁门大营危如累卵，一日数险，有一次太平军前锋距祁门大营仅有十八里，形势岌岌可危，在祁门坐以待毙的曾国藩再次遗嘱后事。全军濒于瓦解之际，曾国藩身边人员“凡前言祁门可屯者”，此时也“皆更请国藩亟去”。
曾国藩这才下定决心，将两江总督衙门从祁门山区搬到长江边上的东流（位于安徽省东至县长江南岸），并对李鸿章高超的战略眼光殊为欣赏。
“祁门移军”之争产生的裂痕尚未弥合，李鸿章与曾国藩又因李元度事件矛盾再起，可谓一波未平，一波又起。
李元度是曾国藩的老秘书。早在曾国藩奉命回乡办团练时，在湖南做教谕的李元度就加入了曾国藩幕府，参赞军务，患难相从。在曾国藩众多幕僚中，除刘蓉、郭嵩焘这些老朋友外，就数李元度资历最老了。尤其是在湘军最初屡打败仗，曾国藩几次被人“打落门齿”之时，刘蓉、郭嵩焘等人都不肯出来相助，勉强拉出来后也很快借口离去，王闿运《题铜官感旧图》所写“刘、郭苍黄各顾家，左生（左宗棠）狂笑骂猪耶”，指的就是此事，唯有李元度忠心耿耿，不离不弃，与曾国藩同甘共苦度过了七八年艰难岁月。李元度的忠诚和支持，无疑比金子还珍贵，对事业初创时期的曾国藩实在太重要了。
然而，李元度擅长文笔却缺乏军事本领，曾国藩也深知其并非统军之才，只因自己私情荐举，李元度才被任命为徽宁池太广道即皖南道道员，领兵驻防徽州（今安徽省歙县）。
徽州是皖南通往浙江、江西的要道，军事地位非常重要，是祁门大营的大门。在太平军进攻的时候，李元度违反曾国藩坚壁自守的指令，擅自出城迎战，结果一触即溃，徽州陷落，大门洞开，湘军大本营祁门因此丧失防守的前哨阵地，直接暴露在太平军的面前。