黄药师自从那日发生的事情后，第二天留下了一封信，人却飘然而去。直至黄蓉第二天起来，去叫父亲起来吃饭时，忽然看到了案几上摆着一封信件，黄蓉打开后，哭得像个泪人似的。
听到黄蓉的哭声，陆乘风、冯默风等人以为发生了甚么事，进了东邪房间，只见黄蓉道：“爹爹走了，爹爹走了，他不要我了。”
陆乘风抢过信看了后，脸上露出了忧伤，叹了口气，遂又把信给了冯默风，信中大意是教黄蓉和洛天回太湖洛家庄，有时间他会去看望，莫要为他担心。而桃花岛却留给了陆乘风和冯默风，众人俱知东邪离去的原因，但大家倶都缄默。
不过黄药师离去时，周伯通倒是跟着一起离开了桃花岛，如今周伯通已把武功融会贯通，全真教似乎也未曾叫他回去，心下中的大石头终于放下，觉得江湖都已把他老顽童忘记了，想要到江湖上闯一闯，无疑和黄药师一起更方便，至少一切路费和开销他都不要花半分。
洛天起来后，黄蓉扑在洛天怀里，不停的哭，洛天笑了笑，安慰道：“好蓉儿别哭了，岳父大人又不是说不回来。如今他心中的结已解，要让他继续在桃花岛把自己困起来，根本不是他东邪的性格。能忍耐十六年，那是他有不得不留下的责任，你如今已是我妻子，有谁敢欺负你，咱们不欺负人已不错了。”
东邪一向自负，更是教徒弟有方，他只是未曾料想到徒弟竟然喜欢自己妻子，一切源头皆因此而起，如今该死的死了，不该死的也死了，女儿也大了，也成了洛家媳妇，对女儿的安危更是比跟着他还要放心。
所以黄药师心事已了，愧疚的几个弟子具已归来，又回到了桃花岛，他还有什么放不下的。他本来就是一个四处漂流的侠客，若非遇上了冯衡，也不会选择在桃花岛安家落户。
自己爱妻死了，已安葬在妻子喜欢的桃花岛上，最讨厌的弟子死了，捣蛋的周伯通也要离开，桃花岛亦无他怀念之人或物。逍遥江湖才是他所爱，放下一切，去追寻当年逍遥江湖的梦。
黄药师其实内心里很羡慕洪七公，一人吃饱全家不饿，想吃就吃，想睡就睡，四处为家，若没丐帮羁绊了他，洪七公只怕走的更潇洒。
他现在最想的就是去找洪七公好好的喝一杯，所以黄药师出了桃花岛，上岸后，就去了丐帮找洪七公去了。一个月后，临安皇宫里，老顽童、黄药师和洪七公正在御厨中大块朵颐，大口喝酒，皇宫于三人而言形同虚设，毫不设防，来去自如。
洪七公道：“黄老邪，这就对了，如今女儿嫁了个好丈夫，那小子虽然嚣张霸道，杀人如麻，但不失为一条汉子。他看似邪恶，但却有自己做人的底线，小丫头在洛家庄也没人敢欺负。以小丫头的聪明和机智，她不欺负人已是他人烧高香的了。”
周伯通嘿嘿一笑，道：“你算是幸运的了，没有了老婆羁绊，好多武功都可以修习，我们学武的人，就该把心思放在武学上面，而不是儿女情长，有个老婆跟在屁股后面很烦的。而且天下间像老大这般变态的人也只有一个，亘古未有。