被欧阳修称为“社稷之臣”，号称贤相的韩琦就是个中典型。狄青对韩琦非常谦恭礼让，即使在官拜枢密使，与韩琦官阶相当后也是如此。他每次到韩府，“必拜于庙廷之下，入拜夫人甚恭，以郎君之礼侍其子弟”。
反过来，韩琦对狄青，那可说是非常之不客气，竟至于到了以羞辱狄青为乐的地步。宋人笔记记载，有一次，韩琦出镇定州路时，狄青恰担任总管。正好狄青的旧部焦用带兵路过，狄青便请他一起喝酒。恰好此时有部下上告焦用克扣军饷，韩琦便下令逮捕焦用，准备处决。这当然算是在整饬军纪，但严格说起来，焦用也罪不至死。狄青得知以后赶去捞人，口口声声“焦用有军功，好儿”。结果韩琦嗤之以鼻，反而来了一句，在“东华门外以状元唱出者”才是“好儿”，焦用算什么东西！
结果，韩琦居然当着狄青的面，杀死了一位立有战功的军官。这样的小题大做就是在“杀鸡儆猴”，警告狄青，并公开宣示对武将的鄙弃，对军功的不屑，以及文臣对武将生杀予夺的权力。除了焦用被杀冤枉之外，连韩琦养的家妓都敢当着狄青的面戏谑其为“斑儿”（因脸有刺字）。饱受戏弄、羞辱的狄青，对此竟然也无可奈何。武人固有的卑微地位在文臣面前暴露无遗。
狄青曾为此感叹：“韩枢密功业官职与我一般，我少一进士及第耳。”
“无他，朝廷疑尔”
缺少进士“文凭”的狄青，固然得不到士大夫们的认同，却偏偏在平民百姓和兵卒中的人气相当高。广大将士都将狄青看作心中的英雄对外人夸耀，甚至每次拿到军饷，都说成是“狄家爷爷所赐”。
这就更加犯了朝廷的大忌讳，不难想见，对狄青不利的流言蜚语应运而生。狄青担任枢密使4年，其任上所作所为的正面记载几乎在史书中绝迹，倒是猜忌、责难与诽谤，像股旋风似的一齐扑了过来。
待到舆论准备得差不多时，士大夫们就赤膊上阵要求罢免狄青了。嘉佑元年（1056）知制诰刘敞上书，毫无理由地将狄青当作北宋朝廷最大的威胁。殿中侍御史吕景初也跳了出来，“天象谪见，妖人讹言，权臣有虚声，为兵众所附，中外为之恟恟”。既是权臣，又“为兵众所附”，这指的自然就是枢密使狄青了。
令人感到意外的是，在一片“倒狄”合唱中，声音最响亮的那位仁兄，居然是欧阳修。他与狄青也没有个人恩怨，只是“对事不对人”，“为国家消未萌之患”，唯恐出现第二个“黄袍加身”的人夺了大宋的天下。
相比之下，当时担任宰相的文彦博罢免狄青的逻辑就显得简单明了了许多。在他请罢狄青时，宋仁宗回答，狄青是忠臣。文彦博立即反驳：“太祖岂非周世宗忠臣？”确实如此。赵匡胤在周世宗柴荣在世时，哪里露出过半点儿“谋逆”的迹象？最后还不是搞出了“陈桥兵变”，夺了后周的天下！
这番话本是“欲加之罪何患无辞”，但在宋仁宗听来，却又是那么有理有据令人信服。在众多大臣再三参奏之下，他对狄青的信任动摇了，终于同意将其枢密使一职罢免，并将狄青调往外地去做官。
嘉佑元年八月，仅仅做了4年枢密使、没有犯任何错误的狄青终于被罢官，以护国军节度使、同中书门下平章事出任陈州（今属河南）知州。自狄青之后，终北宋之世，再也没有武将能够入主枢密院。
而临行前，文彦博的一番话却足够给狄青造成无尽的恐慌。狄青向文彦博问起为何被外放，文彦博简洁明了地回答：“无他，朝廷疑尔！”在封建时代，任何人都清楚，自己被朝廷怀疑的话还会有好下场吗？行前，狄青内心万分悲楚，无限伤感地对人说：“青此行必死。”更有甚者，在狄青无辜被贬至陈州之后，根据文彦博的建议，朝廷仍然每月两次派遣使者前往陈州抚问狄青，名为抚问，实则为监视。这时的狄青已被流言蜚语搞得惶惶不安，每次使者到来他都要“惊疑终日”，当年那“金戈铁马，气吞万里如虎”的一代骁将，其威武英姿早已不复存在。
不过半年之后的嘉佑二年（1057）三月，可怜大将狄青没有死在敌人的利刃之下，却不堪自己人的猜疑、打击和迫害，郁郁而终，享年还不到50岁。