洛州女子淳于氏因罪被关入大理寺监狱，李义府听闻淳于氏貌美，当下暗中指使大理丞毕正义将她释放，然后纳为妾室。
大理寺卿段宝玄据实上奏，李治便命给事中刘仁轨、侍御史张伦审理。
李义府担心事情败露，竟逼令毕正义在狱中自缢，以断绝实证。
李治虽知实情，但却没有追究李义府的罪责。
这时的李治，对李义府，还是非常的好，对他的不法行为睁一只闭一只眼。
李义府无法无天，他的儿子和女婿也学李义府，出到外面，都是属螃蟹的，走路都是打横的。
李治听说之后，好心提醒李义府说：“你的儿子和女婿，行为不谨，多为非法之事。我尚且为你遮盖，你要去告诫他们！”
皇帝对臣子说这话，作为臣子的，本该谢罪，马上去改，但是，李义府仗着武媚娘的势力，在皇帝面前，竟然勃然变色，脖子和脸颊都涨红，说：“谁跟陛下说的？”
李治看见他这个样子，很不高兴，说：“只要我说的对，你何必管我从哪里听来的！”
李义府听了，也不引咎，缓步而去。
李治见他如此作大，不由很不高兴。
李治虽然拿武媚娘没办法，但是，拿武媚娘身边的一条狗，还是有办法的。所以，他很快就收拾了李义府。
擅长望气的杜元纪对李义府说他的居第有狱气，要积钱二十万缗镇压狱气。
李义府听了非常相信，聚敛尤急。
他的母亲死了，李治给他丧假，然后微服与杜元纪出城东，登古冢，有人密告李义府有异图，要谋乱。
此时的李义府，已经很危险了，可是，他还不知道收敛，还派遣他的儿子李津召长孙无忌的孙子长孙延，敲诈他的钱七百缗。
右金吾仓曹参军杨行颖知道这事之后，马上去告发他。
李治大怒，本身就对李义府有成见了，如今见他如此横行霸道，当下命令抓捕李义府，把他抓到监狱去，又派遣司刑太常伯刘祥道与御史、详刑共同审讯。
李义府做的烂事，别说审讯，就是去大街上随机找个大妈，一问就是一箩筐！所以，他的罪很快就被落实。
李治下诏李义府除名，流放巂州；李津也除名，流放振州；其他诸子及女婿也一并除名，流放庭州。
李义府的垮台，史书的记载是“朝野莫不称庆。”
看来，一个人做恶做到令这么多人讨厌，那也是相当不容易的。
通过这一点，也可以看出来，李治打击了元老派之后，所用的人是什么货色。
武媚娘也无奈，因为她本身没有选择权，哪位大臣巴结自己，就让哪些大臣起来，所以，质量不是很好。
乾封元年，公元666年，李治封禅泰山，大赦天下，但却不许长期流放的罪囚返回。
李义府本还想着有机会回京，听闻这消息，忧愤不已，当下发病而死，时年五十三岁。
他用他的一生告诉我们一个道理，那就是，投机只能成功于一事，想要长久成功，还是要讲些厚德，因为，唯厚德，方能长久。