谢晦、徐羡之、傅亮等大臣是跟刘裕东征西战过来的人，深知艰难创业的不易，加上年来又与北魏开战，外患当头，深恐有负先帝托付之恩，当下便与南兖州刺史檀道济、江州刺史王弘一起商议，决计将刘义符废掉，另立新君。
这是一个很危险的行为，因为，废掉原先的皇帝，对于继任的皇帝来说，当然是一种震撼，但也给他带来了震惊。所以，对于继任的皇帝来说，要不，是他从此怕了这些废帝的大臣，臣服于他们；要不，就是他杀掉这些废帝的大臣，独掌乾坤！
然而，他们没考虑这么多，开始着手废帝行动了！
景平二年（公元424年）五月，天气酷热，对于喜欢玩的皇帝，当然是要找个避暑好玩的地方。
宋少帝刘义符便到宫中的华林园去避暑了。
他为了好玩，在皇家华林园造了一排商店，自己装扮成平民，小衣巾，短打扮，“汗衫短裤”，亲自买入卖出，讨价还价。
真是好玩极了！
刘义符扮完平民，玩腻了之后，又跟左右佞臣一起，划船取乐，尽兴玩乐了一天。晚上接着玩，一直玩到睡意来了，这才在龙舟上睡觉。
他不知道，危险已经向他逼来。
第二天的凌晨，文武将官已经商量好了废除宋少帝，当下由檀道济引兵开路，徐羡之等随后继进，从云龙门入宫。
刑安泰等已先行说服了皇家禁卫军，所以没有人出来阻挡。
刘义符玩到半夜才睡，所以还没有起床，他哪里知道，龙榻之前，竟然有军士敢闯进来！
刘义符的侍从连忙出手反击，但，哪里是对方的敌手？登时被砍死！
刘义符也被捉，手指都被砍伤。
闯进去的军士把刘义符扶持着出东阁，并且收缴了皇帝的玉玺和绶带。
文武百官早已准备好，当下都向他叩拜辞行，由军士将刘义符送回到他的故居太子宫。
刘义符就这样被废掉，当皇帝当了一年余的时间，纯粹玩了一年多，没有任何一名辅政大臣站在他这一边，真是白当了一年多的皇帝。
其实，在刘裕在世的时候，谢晦就劝说过刘裕，说太子不是皇帝人选。刘裕便要谢晦去考察一下另外一个儿子刘义真适不适合当继承人，谢晦去了之后，发现刘义真也不适合当继承人，当下回去告诉刘裕了。刘裕这才没有废掉刘义符。
但从此之后，谢晦就得罪了太子刘义符和刘义真。
谢晦成为辅政大臣之后，无论从国家利益上讲，还是从个人利益上讲，当然是要废掉皇帝，另外立一个自己拥立的人，这样一来，他觉得自己的地位才稳固。
刘义符被废掉之后，有三个皇帝人选，一是刘义真，二是刘义恭，三是刘义隆。