公元655年，唐高宗永徽六年，武昭仪圣眷日隆，高宗渐生废后之心。某日，高宗召长孙无忌、李积、于志宁、褚遂良等重臣入内殿商议废王皇后立武昭仪之事。聪明的李积自知此事敏感，乃称病未去。而于志宁呢，在高宗和武昭仪的联合威压之下，虽明知废后不妥，但终是噤不敢言。倒是褚遂良这个太宗遗命的顾命大臣敢于直谏，提出各种理由激烈反对高宗“废王立武”。
一个不来，一个不言，一个反对，高宗和武昭仪显然很需要一个支持者，这样他们才能借坡下驴。为了做支持者的工作，两个人也没少操心。上一年，他们就一起到长孙无忌家饮宴，名义上是一次普通的“家庭聚会”，实际上是有所宏图。当然，两人上门也没空手，高宗出手大方：不仅赏赐金宝缯锦十车，又任命长孙无忌的三个庶子为朝散大夫。宴饮间，高宗以皇后无子频频暗示长孙无忌。长孙无忌却装聋作哑，“顾左右而言他”，弄得高宗和武昭仪很不愉快。
“家庭聚会”后，高宗和武昭仪没有放弃，继续做长孙无忌的工作。先是派武昭仪的母亲杨氏上门陈情，再是让礼部尚书许敬宗上门劝说，但长孙无忌还是一口拒绝了。
贵为皇帝而不能如愿，这让高宗很窝火。而前进路上出现的这个绊脚石，更让武则天暗自怀恨在心。两人一合计，决定不给这些顾命大臣面子，软的不行就“硬上”。于是便有了“内殿商议”这出戏，这相当于高宗和未来的武后的“最后通牒”。
尽管此前两三个回合中，高宗和武则天早已经知道了长孙无忌的态度，但他们还是希望在这最后关头，得到这个既是国舅、又是顾命大臣的重量级人物的支持，这样两全其美、皆大欢喜的事，他们以为长孙无忌会愿意去做。他们显然判错了这个凌烟阁上排第一人物的气性，长孙无忌在这关键的时间节点上，虽然明知反对有政治风险，还是坚定地站在了褚遂良这一边。高宗的脸黑了下来，武昭仪也拂袖而去。一段血腥的政敌清洗历史就此开启。如果说“家庭聚会”时的反对尚是皇族内部矛盾的话，那么，“内殿商议”上的公开反对便已是利害攸关的权力斗争了。为相半生的长孙无忌不会不明白这次反对的危险性，但他显然更重视唐太宗的遗命。
登上皇后宝座的武则天，是不会放过褚遂良和长孙无忌的。
遭政治清算的先是褚遂良。武则天显然还记得他反对“废王立武”的坚决态度，那近乎一种政治表演：他将官笏放在台阶上，同时也把官帽摘下，向高宗不停叩头以至于流血。你既然不要命，我也不给你好命。武则天先是将褚遂良赶出朝廷，贬他到潭州任都督。不久，又调褚遂良离京师更远的桂州（今广西桂林）去任都督。为打击褚遂良，武则天和许敬宗、李义府一起，诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。以此为借口，褚遂良很快又被贬到了更远的爱州（今越南清化）。
绝望之中，褚遂良向高宗上了一封陈情书，诉说自己曾长期为高祖与太宗效劳，是高宗继位的坚决支持者。他希望凭此让高宗收回成命。但他没有料到，武则天此时已全面参与帝国政务。即便高宗有那么一丝犹豫和反悔，他也禁不住武则天的游说。
公元658年，褚遂良在爱州带着遗憾离世，享年63岁。