任安对卫青很忠诚，或许卫青其实对任安也不错。任安就是卫青正常举荐给汉武帝的，没有那些充满戏剧性的波折。卫青不愿意多养门客，意味着长安城里以人才自居的人，很难从卫青那里获得多少好处，所以在他们嘴里，当然也不会有卫青什么好话。编排卫青有眼无珠，不能识人的段子，也在所难免。褚少孙补《史记》，时间又过去几十年，恐怕有以讹传讹的嫌疑。
没有疑问的是，从此任安的人生，进入了快速上升的通道。汉武帝既能让任安的努力化为乌有，也能让任安迅速取得他光靠个人奋斗，怎么也无法抵达的成就。任安在未央宫里担任郎官的时间并不长，很快他被又任命为太子少傅，也就是太子的老师。而太子是皇后卫子夫所生，卫子夫是卫青的姐姐，换言之，如果划政治派系，任安仍然该算是卫青一系的人。
后来漫长的岁月里，任安曾被任命为益州刺史，汉武帝时代的刺史，是朝廷派到地方上的监察官，以六百石小官的身份，监督二千石的地方大员，可谓位卑权重。再后来任安又担任了“监北军使者”，北军是长安城里规模最大的一支军队，这个职务的意涵是，任安并不是这支劲旅的正式长官，但却拥有皇帝临时赋予的指挥权。
总而言之，任安是大人物了，看起来皇帝对任安非常重用。但是，这时汉武帝已经步入晚年，他非常恐惧死亡，为了长生不老服食实际上含有剧毒的药物，情绪极不稳定，越是被重用的人，也越是容易遭遇皇帝的雷霆之怒。后来汉武帝自己说，“安有当死之罪甚众，吾常活之”。
所以任安一定活在战战兢兢之中。他可能会想到严助、主父偃、朱买臣、张汤……这些武帝时代前期的名臣。这些人的出身比自己要好一些，能力也更加出色一些，但如果不是皇帝的特别青睐，也绝不会成为叱咤风云的人物，而他们都仿佛是夜空中流星，最终的结局，都是被皇帝处死或逼死了。这也会是自己的命运吗？
终于，时间来到征和二年（前91年）。汉武帝和太子之间的矛盾爆发，太子起兵造反。太子亲自驱车来到北军军营的南门外，召见任安，以符节命令任安发兵。太子想到来找任安，很自然。第一，北军是长安城里最强大的军队，如果能利用，自然最理想不过。第二，任安担任过太子少傅，两个人之间有情谊。第三，任安曾经是太子的舅舅卫青的门客，如果不是卫青有推荐门客做郎官的名额，任安也不会有今天。
任安下拜接受了太子符节，回到营中，然后“闭门不出”。这时任安的心里，一定波涛汹涌。多年以前，在武功县指挥百姓捕猎的时候，任安就证明自己有不错的军事才华，然而在这一刻，这种能力显得并没什么意义。如果出兵帮助太子，成功了收益是巨大的：自己是帮助太子成为皇帝的最大功臣，何况，不用再面对喜怒无常的今上，这本身就让人感到如释重负。但问题是，太子并无多少胜算，——毕竟此时汉武帝并不在长安城里，反击最多也不过是成功控制国都。但作为御宇五十余年的老皇帝，汉武帝拥有巨大权威，仍然可以调动天下兵马来反扑，那时兵连祸结，不知道会是怎样的浩劫。
站在皇帝一边直接把太子拿下，从个人前程来说倒是可能好一些。但是这个行为过于忘恩负义，任安并不是没有底线的人。反过来，也不能帮助太子对抗皇帝。如果不是今上的宠信，自己终究不过是一个贫寒人家的子弟罢了。何况，正如好朋友司马迁也说过的，“戴盆何以望天”，忠于皇帝，不是一个大汉臣民最重要的道德吗？
当此情形，任安无论怎么选择，都不可能是高尚的，而且几乎总是充满危险的。最终，任安决定什么也不做。这个选择要了任安的命。后来，太子果然失败，而任安的不作为令汉武帝震怒。汉武帝认为他是个狡猾的“老吏”，企图坐观成败，等谁取得胜利，就站在谁一边。于是任安下狱，然后被处以腰斩之刑。
任安的好朋友田仁，也是一样的厄运。作为丞相府司直，他处在与太子敌对的地位。但太子战败，想从长安城南最东边的覆盎门逃走，田仁打开城门，放了太子一条生路。结果也是被腰斩。
有人认为，这时任安曾向在汉武帝身边担任中书令的司马迁求救，但司马迁回复了一封满腔愤懑如他家乡龙门的黄河激流一般气势磅礴的信，也就是我们熟悉的《报任安书》，但信中并没有怎么同情任安的命运。
也有学者认为，《报任安书》写于之前任安另一次差点被汉武帝处以死刑的时候，那次司马迁是知道任安其实不会死，才会在信中大谈自己的孤愤与理想。这样理解，显得司马迁更通人情世故一些。但总之，这一次，任安死定了，而司马迁不论有没有做出什么努力，都不可能改变任安的结局。
汉武帝时代末期，就像李陵对苏武说的，“陛下春秋高，法令亡常，大臣亡罪夷灭者数十家，安危不可知”。这是一个群星陨落的时代，任安只是其中不那么引人瞩目的一颗，虽然，不论能力还是道德，他都已经远远比大多数普通人优秀。