要想赶张九龄出京，务必有一个妥当的理由，李林甫这日在奏书中又瞧出了机会。他将那道奏书细细瞧了几遍，然后如获至宝，亲自捧着这道奏书入宫，将之奉与李隆基御览。
李隆基阅罢脸上变色，怒道：“大胆！这个周子琼是何来历？其腔调怎么如同张九龄一样，还在这里喋喋不休斥牛仙客无文呀？”
这道奏书系御史台监察御史周子琼所奏，书中主要内容是说牛仙客薄文少识，若为宰相实在不堪。
李林甫答道：“臣问过吏部，当初周子琼授任时，正是由于张九龄所荐。”
李隆基闻言恍然大悟，心想张九龄果然阴魂不散，他当初反对重用牛仙客，如今罢了相职，犹有其门生继续鼓吹，看来是一脉相承了。
李林甫叹道：“陛下，臣与仙客皆非科举出身，如今朝中官吏多为科举之人，他们腹藏诗书，臣与仙客与之相比，确实失于少文。陛下，臣有一个不情之请，不如罢臣之相，另寻一位文学之士为相与仙客相配，如此定会少了许多议论。”
李隆基瞪了李林甫一眼，没有细思他的激将之法，唯将怒火倾注于周子琼这帮人的身上。李隆基认为，如周子琼这等文学之士怀有此等心思者甚多，他们明里鄙夷牛仙客少文，内心里其实责怪皇帝不善识人。
李隆基这日对这些文学之士有了异乎寻常的反感：你们不过多读了一些诗书，难道就明白为政之道了吗？你们拥有了科举出身的身份，难道就可以臧否他人了吗？他于是转对高力士说道：“高将军，速派人入御史台，将这个名为周子琼的御史唤来。”
李林甫此时不知这件事儿的最终结果，然皇帝的怒火已彰显无余，那么过会儿周子琼前来定有好戏可看。
李隆基沉思片刻，说道：“李卿，今后吏部选人，除了循资格以外，要重在吏才，不看出身。你与仙客要将所有官吏筛选一遍，利用考功之时，要将那些徒有其表的文学之士定为散阶之官。”
李林甫闻言大喜，躬身答应。他今日入宫面君固然想借周子琼的事儿来借力打力，由此攀扯到张九龄的身上；然朝中官吏多为科举出身之人，其中的大部分人绝对不会与李林甫同心同德的，李林甫现为中书令，如何排斥异己安插亲信为迫切之事。李林甫知道，自己初为中书令，则万众注目自己的一举一动，他就是想办自己的事儿也不可形迹太露，如今皇帝主动放话，那么今后调整官吏就是奉旨而行，如此就可百无禁忌了。
周子琼入殿觐见，李隆基不说平身，让其一直跪在下面，由此可见李隆基心中的怒火之旺。李隆基将那道奏书抛到周子琼的面前，斥道：“你为监察御史，例当分察百僚、巡查州县，是为本分。你如今受何人指使，竟然敢对朕授任之宰相评评点点？”
周子琼没有畏惧之色，强项说道：“陛下依贞观故事行事，臣观太宗皇帝事迹，知道太宗皇帝导人诤谏，只要身为臣子，即可上谏皇帝，下察百官。臣为监察御史，上此奏书其实为本分，莫非今后宰相有过失，臣子就不许再向皇帝上奏了吗？”
周子琼义正词严，李隆基不由得为之语塞。李林甫见状，急忙说道：“周子琼，你仅看到牛尚书少文，难道没看到他清勤为政，屡为国家建功吗？御史奏言并不为错，然不能断章取义，以偏概全嘛。”
李隆基由此缓过神儿来，就依着李林甫的思路继续质问周子琼。
所谓言多必失，周子琼力证牛仙客无能为相，竟然不知不觉援引谶书之言为例证。李林甫听到此言，心中大喜，心想周子琼用了这句谶语可谓自掘坟墓。
此前说过，李隆基严禁百官与僧、尼、道士交往，那些卜相占卦之人，也不得出入百官之家，他如此做，自是要杜绝百官行阴谋之事。如今周子琼口出谶语，说明他私下里曾研究过谶书，如此有违圣旨，心中定有不臣之心。
李隆基闻言大怒，当即令人将周子琼按在地上杖击之，很快，周子琼被打得说不出话，奄奄一息。
周子琼事后被流放，由于伤势过重，行到半途，即伤重而死。
张九龄也被周子琼牵累，李隆基认为张九龄所举非人，应当惩罚，遂罢张九龄尚书右丞相之职，贬为荆州长史，并严令他从此不许入京。
李林甫行事不好走极端，譬如他此次调整人事，对张九龄所重用之人并非赶尽杀绝，无非将他们调离关键岗位而已。当时的大诗人王维由张九龄调至中书省，初任右拾遗，后来又任御史台监察御史。李林甫现任中书令，当然不会让王维待在这个位置上瞪大眼睛找自己的毛病，于是将王维调至兵部任库部郎中。
库部郎中与监察御史的秩级相同，皆为六品职。王维此次未被授为外任，又未被贬职，他应该能接受这个结果。大约李林甫未对他过度抑制，可能也惮于他诗名太盛。
王维眼见张九龄被贬出京，李林甫与牛仙客从此把持了朝政之事，心中滋味并不好受。前程大受影响不说，王维还时时担心李林甫再寻自己的不是，其诗中写道：“既寡遂性欢，恐招负时累。”由此可见其惴惴不安之心。
其妻体会到王维的心绪变化，劝慰道：“官人想是心伤张丞相离去吧？官人，天下没有不散的宴席，张丞相昔日器重你，此为上天赐予的缘分；今张丞相离去，官人说不定又有其他因缘，何必如此长吁短叹呢？”
王维叹道：“我为何如此命运多舛呢？好不容易遇到一个开明贤良的张丞相，却又被人算计走了。唉，因缘之说，只怕十分渺茫了。李林甫对文学之士极度不屑，我不敢再有幻想。”
其妻笑道：“我们在济州之时，日子过得何等清贫？我们不是一样快乐吗？官人如今的俸禄，比济州多了不少，妾心已然十分满足了。如有归隐之意，官人现在就是挂冠而去，妾也是乐意的。”
王维摇摇头道：“现在若去归隐，毕竟有点早了。陶渊明不为五斗米折腰回归乡里，因生计困窘竟然向人乞讨，夫人啊，如此傻事，我断然不为。唉，我如今儿女尚幼，家中的兄弟未娶，小妹未嫁，就是这点俸禄尚薄，哪儿敢挂冠而去呢？”
与陶渊明相比，王维觉得羁绊甚多，断不会挂冠而去，而是选择了随俗浮沉，朝廷的这份俸禄还是要挣的。
兵部库部郎中掌军械督造与储存之事，每年须往军械制造之地巡视一回。是年饶州所造军械最多，王维若去饶州巡视，势必经过荆州地面，如此就可探视张九龄一面，且荆州还有孟浩然在那里，仲春三月，王维欣然起行。
往日王维自济州返京后，即劝同样颇有诗名的好友王之涣与高适参加会试，以求仕宦之门，也修书与隐居荆州鹿门山的孟浩然出山。
其实王维与孟浩然此前并未谋面，二人皆以诗知名，由此互相倾慕，他们常常有书信往来，渐成好友。
孟浩然听从了王维的劝告，自荆州动身入长安求仕。奈何时运不济，在长安待了一年有余，其间也拜访过张九龄，还是无功而返。孟浩然是时已四十岁，这次入京求仕得挫，令他返回鹿门山之后很长一段时间难以缓过劲儿来。其心间有怨怼、有失落，更有愤懑之情。某日月夜之时，孟浩然独立山影之中，他眺望空中的那轮明月，满腔的自怨自艾顿时化为一股幽思，遂对月吟道：“北阙休上书，南山归敝庐。不才明主弃，多病故人疏。白发催年老，青阳逼岁除。永怀愁不寐，松月夜窗虚。”
孟浩然当初求仕情切，然如今宦途渺茫，鬓发已白，可见他的忧虑焦急之情。
该诗名为《岁暮终南山》，此后不久辗转传入京中。孟浩然虽仕途无名，然诗名扬于天下，此诗传入京中后，人们争相吟诵。李隆基某一日看到此诗，读出了孟浩然的弦外之音，就对张九龄说道：“你应当见过此人吧？哼，此人求仕未成，既而自弃，其诗中为何诬朕弃之呢？凡事浅尝辄止，能有何大用呢？”
其时张九龄与皇帝裂隙渐大，他也没有替孟浩然辩驳。王维后来得知皇帝的态度，知道孟浩然今生恐再无机会了。
王维行至荆州府已是傍晚时分，春日的余晖渐渐散去，暮色逐渐加重。王维刚入驿站，赫然看到张九龄与孟浩然正立在那里，他急忙上前见礼。
张九龄微笑着说道：“我们得知摩诘出京的讯息，算着应该这几日到达荆州地面。我与浩然这几日下衙后就直奔这里等候，今日果然接到了。”孟浩然之名后世不详，以字称世。
王维见张九龄脸色平和，神态甚为安详，遂说道：“下官前来参见，哪儿敢让张丞相亲迎？还有浩然兄，鹿门山离此尚有不短距离，劳烦浩然兄相迎，王维心中十分不安。”
张九龄笑道：“想是摩诘不知，浩然如今入我幕府为宾，我们可以朝夕相处了。摩诘不要再出下官之言，我们今后以兄弟相称最好。唉，也不要再提什么丞相，那都是往日故事了。”张九龄迭逢大难，其虽旷达，亦有萧索之意。
王维道：“王维不敢与张丞相互称兄弟，若张丞相不弃，王维今后自称晚生吧。”王维当初会试之时，张九龄时任吏部考功郎中，王维若自称学生，也能说得通，张九龄于是就默认了。
张九龄道：“今日时辰已晚，舍中备有薄酒，我们就回舍下先替摩诘洗尘。我听浩然说过，你对浩然在鹿门山之居处甚有兴趣，待明日再去吧。”
王维拱手道：“谨遵张丞相安排。”
是时暮色愈浓，三人踏着暮色步行至张九龄的居所中。孟浩然这几日为了迎候王维，早将荆州特产的菜肴之料备好交与张九龄夫人打理，又搬来数坛荆州人常饮的“富水”酒，所以他们入座之后酒菜很快搬上案来。
窗外花香阵阵，伴着微风散入窗内，三人久别重逢，有说不出的兴奋溢于心间。张九龄举盏祝道：“记得浩然赠摩诘诗中有‘知音世所稀’之句，我今后与浩然可以长相为伴，却与摩诘天各一方了。然我们就是天各一方，心思依然相通。来，请共饮此盏。”此后你来我往，渐至醺醺然之际。
文人相聚，少不了谈论诗篇。张九龄笑道：“摩诘呀，浩然去岁成章句，你未曾见过吧？”
孟浩然道：“此诗为去岁旧作，我觉得诗句不错，将之献给张丞相。”
此诗题名为《临洞庭湖赠张丞相》，诗中写道：“八月湖水平，涵虚混太清。气蒸云梦泽，波撼岳阳城。欲济无舟楫，端居耻圣明。坐观垂钓者，徒有羡鱼情。”
王维阅罢此诗，不由得赞道：“好诗。浩然兄，诗中‘气蒸云梦泽，波撼岳阳城’二句，实为咏洞庭湖佳句，愚弟以为，古往今来尚无出其右者。”
张九龄也以为然，孟浩然则有些得意。