皇帝极为欣赏他的“不党”风格，使他得以平步青云，到达权力的巅峰——少师、吏部尚书、华盖殿大学士。然而，巅峰也就是下坡路的开始。
严嵩虽然比夏言晚六年进入内阁，却比夏言早十二年得中进士，资历不浅，时时都在觊觎首辅的位子。夏言却浑然不觉，始终以内阁首辅的身份，把同在内阁的严嵩看作下属，颐指气使。别看严嵩日后专擅朝政时不可一世，当时在夏言面前则是一副别样的面孔，甘愿放下身段，以下级对待上级的恭敬态度，阿谀逢迎，唯唯诺诺。
夏言丝毫没有察觉严嵩的阴谋，安之若素。更要命的是，他日渐流露出对皇帝的不满情绪，而这一点恰恰被老奸巨猾的严嵩抓住了。
世宗皇帝沉迷于道教玄修，一心想长生不老，得道成仙。为了超凡脱俗，他不喜欢穿龙袍，戴皇冠，索性身穿道袍，头戴香叶冠，把自己打扮成道士模样。他还要求大臣们也和他一样打扮，头戴道冠，身穿道服，脚着道靴，出现在朝堂之上。善于阿谀奉承的严嵩百分之百地照办，耿直迂执的夏言却以为“非人臣法服”，有失朝廷体统，拒不执行，一如既往地身穿朝服，与周围的同僚显得格格不入。皇帝看了十分不满，以为这是夏言对他的“欺谤”，从此对他表示厌恶。嘉靖二十一年（1542）六月，皇帝借口“雨甚伤禾”，亲笔写了“手敕”，历数他“欺谤”“舞文”等罪状。严嵩乘机离间，夏言则指使言官弹劾严嵩。一天，皇帝召见严嵩，严嵩一面顿首，一面泪如雨下，诉说受到夏言欺凌的状况，并且一一列举夏言的短处。皇帝大怒，指责言官身为朝廷耳目，不该专听夏言主使。夏言第一次受到皇帝如此严厉的训斥，大惊失色，赶忙请罪。不久，罢官而去。
夏言罢官后，皇帝益发把严嵩看作亲信。不久，严嵩以礼部尚书加武英殿大学士进入内阁，当时他已经年过花甲，仍然如同少壮派一样，从早到晚都在西苑（世宗常深居此地）的板房办公，一连几天都不回家洗沐，皇帝对他的勤勉赞叹不已。严嵩终于如愿以偿当上了内阁首辅，大权独揽。皇帝隐约感觉到此人过于专横，写了亲笔信召回夏言，加以制衡。夏言官复原职后，依然故我。
后来严嵩索性勾结锦衣卫头目陆炳，公然陷害陕西总督曾铣，并且诬称夏言收受曾铣贿赂，二人是一丘之貉。夏言为自己辩护，说：“严嵩与臣多次议论此事，并无异议，如今突然嫁祸于臣。臣不足惜，破坏国体值得忧虑。”皇帝大怒，削夺夏言的官职。
嘉靖二十七年（1548）正月，皇帝罢了夏言的官，但没有萌生杀意。此时紫禁城中传入流言蜚语，说夏言“心怀怨望”。皇帝终于下决心处死夏言。三月，曾铣被处死、抄家，妻儿被发配远方，朝野无不为之感到冤屈。当时夏言正在回乡途中，刚行至通州，已经料到大事不妙，见到皇帝派来逮捕他的锦衣卫官兵，惊慌失措地从车上跌下，长叹一声：“噫，吾死矣！”
四月初，夏言被关入锦衣卫镇抚司监狱。他向皇帝申冤：“臣生死系嵩掌握，惟归命圣慈，曲赐保全。”皇帝会看在过去的情分上“曲赐保全”吗？刑部尚书、都察院都御史等大臣也请求皇帝，看在他效劳多年份上从宽发落。出乎意料的是，他们都遭到皇帝断然拒绝。他提到夏言“不戴香叶冠”之事，还耿耿于怀，亲自作出决定：“论斩系狱待决。”严嵩乘机火上浇油，扬言夏言“怨望讪上”，激怒皇帝下达“弃市”的圣旨。十月初，六十七岁的夏言被绑赴西市斩首，妻子苏氏流放广西。
穆宗即位后，为夏言平反昭雪，恢复官衔，赠予“文愍”谥号，按高规格举行祭葬礼仪，其妻苏氏也从流放地释放，回归故里。