洛天未至丐帮，楚留香与同南宫灵对上了话，只是楚留香没有料到南宫灵最后一丝人性未灭，毕竟秋灵素还是把他养大，与秋灵素并无多大关系。
在丐帮中，南宫灵似乎早已做好了楚留香登临的准备，见楚留香来后，南宫灵出门相迎，把楚留香接到客厅，南宫灵道：“楚大哥，小弟知道你有一天会来这里的。”
楚留香不动声色道：“你知道我会来这里，那知道我来这里的目的么？”
南宫灵大笑道：“知道，只是好奇，你来这里的速度竟然这般快，以小弟对你的了解，你至少还要三个月左右的时间才能查到这里来，毕竟关于秋灵素的身世和最后见过她的人都已经死了。”
楚留香道：“何苦呢？其实在你和无花杀左又铮、西门千、札木合和灵鹫子时，我已经知道你和无花的事情了。为兄只想从你口中得到证实。别人告诉我的，我都不相信，我只相信自己兄弟说的话。”
南宫灵脸上露出了很是高兴的神色，现在楚留香还把他当朋友，说明楚留香心里是真的为他好。只是他已决定退出这场游戏，该报的仇已报，他已别无他求。只鉴于自家兄长已到了疯狂的地步，料想现在已把天峰大师杀了。
楚留香见南宫灵改过的态度，似乎已打算把事情告知于他，他很高兴，说明南宫灵人性未灭。只听南宫灵道：“楚大哥，我早已准备把事情全盘托出，只是楚大哥见到家兄的时候，若是不杀最好废掉他的武功，留他一条性命，小弟感激不尽。”
楚留香点了点头，道：“只要我能办到的事情，我一定会尽力而为。说真的，很多事情都超出了我的想象，若非神水宫的人给出的期限有限，我也不会直接寻你出来，这有些不地道。”
南宫灵叹道：“我知道，所以我没有怪你，我还知道你花了三十万两银子从洛天那儿买消息，如果当初有现在的思想境界，我会把你的三十万两银子收取，然后告诉你真相。洛天的确是我和大哥惹不起的对象，只可惜意识到这点已经太迟了。”
楚留香道：“不会的，至少你已意识到错误了，知错能改善莫大焉。以我对你的了解，只怕也是迫不得已而为之，你也有自己的苦衷。”
南宫灵点了点头道：“的确我也有自己的苦衷，家父就是当年的天枫十四郎，我想你听说过这个人，我大哥就是天峰大师收养的弟子无花。而我则留在了丐帮，拜任慈做义父，义母就是二十年前消失不见的天下第一美女秋灵素。如今她在后山隐居，知晓她来历的人除我之外，只有我大哥知道。如今我大哥应该杀了天峰大师了，毕竟父仇不共戴天。”
楚留香笑道：“不，天峰大师哪儿，我已托朋友去提醒天峰大师了。我想天峰大师有了警惕，无花是不可能杀得了天峰大师的。”
楚留香没有追问，他更想知道南宫灵和无花的母亲是谁，料想也是个极其出名的人物，只是他想破脑袋也没有推演出谁才是两人的母亲。他来这里的目的就是阻止南宫灵杀秋灵素，因为当年毁掉秋灵素容颜的人很可能知道南宫灵和无花的母亲的具体身份。
南宫灵忽然起身向楚留香拱手道：“多谢楚大哥的苦心，天下也只有楚大哥配称‘英雄’二字。大哥是要我杀了秋灵素，他杀了天峰大师，只有这两人死了，那关于我们兄弟两的身世就再也没人知道了，说来真是可笑，正当我要杀义母时，见到义母那神色淡然，笑看生死的样子，我忽然生不起杀意，我心里一点不想义母死，义父死了，乃是为了家父报仇，可义母与家父无冤无仇，并且还把我抚养大，我真下不了手，所以我决定放弃，退出争霸武林的游戏，这样的游戏我真的玩不起。”
楚留香面露喜色道：“好，是条汉子，恩怨分明，带我去见一见秋灵素前辈。我想知道毁掉她容貌的人到底是谁？”
南宫灵和楚留香来到后山，遂又走了半个小时，遂又打开一条石门，如果不是熟悉这里的人，根本不会知道这里还有暗道和机关陷阱，这是丐帮历代帮助潜修武功的禁地，也只有历代丐帮才知道的秘密。
南宫灵当时用毒杀了任慈，临死前，为了保护秋灵素，不得不把这个秘密告诉南宫灵，他只想秋灵素能平静地活下去。石门后面，又是一番景象，里面小桥流水，有花圃，有药园，更有各种难得一见的神兵利器。