第二日，退朝后，唐玄宗前往兴庆宫勤政务本楼，准备处理国事。在李林甫的授意下，门下省给事中殷正鸿紧紧跟在唐玄宗后面，以朔方行军大总管牛仙客在之前担任河西节度使期间功劳显著为由，恳请圣人任命他为宰相，恢复大唐出将入相传统。其实，早在巡察河西的官员返回长安向唐玄宗奏报时，就已称赞牛仙客不但能力超群、治理有方，而且为官清廉、厉行节俭，使得整个河西仓丰物满，足足能够消耗数年。当时，唐玄宗听了，心里很高兴，本想尽快擢升，又想到一个月前任命幽州节度使张守珪为宰相时，遭到张九龄当面反对，便将此事搁在一边，以后再行封赏。现在，给事中殷正鸿主动提及任命牛仙客为宰相之事，唐玄宗颇为踌躇，思忖片刻，说：“殷爱卿不必着急，牛仙客乃大唐英才，朕一定不会亏待他。殷爱卿先且退下吧，等朕处理完重要事情，方能做出决断。”殷正鸿明白唐玄宗顾虑重重，只得说：“陛下英明，臣告退。”转身退下。
到了勤政务本楼，唐玄宗开始批阅章奏，仅一会儿，便停了下来，心想：“牛仙客在担任河西节度使期间，既会打仗，又懂节支，是一个不可多得的人才。别的节度使只要发生战争，就会不断催促朝廷增加军费，搞得财政日渐紧张，牛仙客却将河西治理得如同盛世一样。这般罕见人才，如果不能重用，岂不是很大的损失啊？可我若直接任命牛仙客为宰相，说不定张九龄又会激烈反对；干脆先任命牛仙客为六部尚书之一，过段时日，再任命为宰相也不晚。当然，任命牛仙客为六部尚书之一前，我还是听听张九龄的想法为好，以免这个任命也会遭到他的公开反对。”想毕，对候立旁边的高力士说：“派人速去将张九龄请到勤政务本楼，说朕有要事相商。”高力士忙叉手向前，说：“老奴遵命！”随即命人前往政事堂请来张九龄。
没过多久，张九龄来到勤政务本楼。果然不出所料，一听唐玄宗准备将朔方行军大总管牛仙客任命为六部尚书之一，张九龄激动地说：“陛下，此事万万不可。牛仙客最早是河西地区的小吏，身份卑微，六部尚书位高权重，一般都由卸任的宰相或德高望重的大臣方能担任。陛下若让牛仙客这等小吏担任六部尚书之一，岂不显得大唐再无治国英才，让人贻笑大方？还请陛下三思而后行啊！”看见张九龄再次振振有词地反对自己的决定，唐玄宗气得火冒三丈，本想当即驳斥，转眼又一想，尊重宰相，也是君主应有之举，便按下怒火，做出一副客气的样子，说：“张爱卿所言甚是。那这样吧，既然不能担任六部尚书之一，朕就给牛仙客加实封，总可以吧？”张九龄仍是断然拒绝，说：“加实封也不行。这个实封是专门用来奖赏有功之人的，即给有功之人一些封户，让他享受来自这些封户的税收。加实封既是待遇，也是荣誉，绝非牛仙客这等小吏凭借些微成绩就能得到。牛仙客作为边疆将领，充实仓库，修备兵器，本来就是职责范围之事，怎能说得上是‘功劳显著’？陛下若是认为牛仙客做得好，奖赏一些丝帛给他也就罢了。”
目睹张九龄固执己见，没有任何退让余地，唐玄宗变得脸色铁青，终于忍耐不住，大声地说：“张爱卿，你口口声声说牛仙客是小吏，无非是认为他出身寒门、地位低贱，难道你出身就很高贵吗？”见唐玄宗已经动怒，张九龄并不畏惧，说：“臣确实是大唐历任宰相中唯一的岭南人，出身普通平民家庭，没有任何门阀背景。不过，臣出入朝廷、掌管诰命这么多年，从未出现任何差错，百官人人可鉴；另外，臣还是考中百人录一的进士，平时喜欢舞文弄墨，现著有《曲江集》数卷；那牛仙客只是大字不识几个的边疆小吏，仅仅做了一些本份之事，又岂能与臣相提并论；因此，臣还望陛下谨慎决断才是！”唐玄宗顿时怒火冲天，呵斥道：“张爱卿，别人提及自己，都是谦虚恭顺，而你作为百官之首的宰相，却是不加丝毫掩饰，如此下去，怎么能让百官信服？朕之决定，你总是反对；难道天下事情，都要依着你张爱卿的意愿，才算合理吗？”
意识到自己态度不妥，张九龄急忙跪在地上，说：“臣方才斗胆失言，恳请陛下息怒，以免有损龙体。陛下任命臣担任宰相之职后，臣的心里一直就怀着江山社稷和黎民百姓，兢兢业业，克勤克俭，不敢稍有疏忽懈怠，既要减轻征徭、扶持农桑，又要革新吏治、选择贤能。臣的赤胆忠心，还望陛下不吝洞察。”知道张九龄有点服软了，唐玄宗的怒气略微减轻一些，说：“张爱卿，你的赤胆忠心，朕早已知晓，从未怀疑。只是张爱卿嘴上说革新吏治、选择贤能，其实心里还是以自己的特点为标准，对符合之人则可任用，相差则要排斥，与朕所思完全不同。朕乃一国之君，任用人才会有多种考虑，否则大唐何以出现如今的繁盛局面呢！凡是人才，各有长短，为政者只要不拘一格，扬长避短，大胆擢升，就能永葆大唐江山社稷世代延续。既然张爱卿强烈反对任命牛仙客为宰相，连加实封也不同意，朕深感遗憾之余，也不得不尊重张爱卿的看法，姑且放下此事。好了，现在没有其他事情，张爱卿回政事堂办公吧。”张九龄说：“多谢陛下采纳臣的看法。臣告退。”磕了一个头，起身离去。
看着张九龄逐渐远去的背影，唐玄宗越发厌恶，心想：“你张九龄做事只凭自己观点出发，眼里哪儿还有朕的尊严。朕能容忍一时，却不可能容忍一世。你张九龄作为文人，向来自恃清高，极力贬低行伍出身之人，倘若今后出现差错，朕绝饶不了你。”本想继续批阅章奏，奈何心情怎么也平静不下来，正不知如何是好时，看见一个宦官进来，叉手向前，说：“陛下，礼部尚书李林甫前来觐见！”唐玄宗心里一亮，忙抬手一挥，说：“朕也想见李林甫呢，让他进来。”
原来，殷正鸿从唐玄宗那里回来后，立即将此事禀报李林甫。李林甫认真思索着，觉得圣人即便同意将朔方行军大总管牛仙客任命为宰相，张九龄一旦得知，肯定会不顾一切地加以阻拦。为了稳妥起见，李林甫决定以关心寿王李瑁为由，亲自去觐见唐玄宗，一探究竟。此时，看到唐玄宗的阴沉脸色，李林甫知道事情有些不妙，忙叉手向前，小心翼翼地说：“不知何事惹得陛下如此不悦？陛下如告诉臣，兴许臣能够疏通和缓解一二。”
唐玄宗将刚才之事简要说了一遍。听完，李林甫心里骂道：“该死的张九龄，一次次的违背圣意，阻挠圣人恢复出将入相传统，难道真的以为大唐就是你张九龄的天下吗？”表面不动声色，说：“陛下切勿生气。臣觉得，陛下所为非常英明。尺有所短，寸有所长，一个人只要有见识、有才干，能为大唐竭忠尽智，就已足够，何必非得是满腹经纶的迂腐文人呢。何况治国要文人，卫国需武将；出将入相，乃是大唐历来赏赐有功武将的一个最佳手段。朔方行军大总管牛仙客虽是武将，但是文武皆备，颇具宰相之才；而张九龄自己作为宰相，仅是文人而已，缺乏见识，拘泥古义，有失大体，反对陛下出将入相，其实是在掩饰内心的嫉妒和恐慌，还望陛下不可被其误导，荒废难得人才。”唐玄宗叹道：“张九龄性情实在太过执拗，遇事一点不懂变通。朕的所思所想，向来是从全局考虑，文武兼顾，一视同仁。张九龄只以文人眼光看事，重文轻武，多次与朕的想法相异，破坏朕的平衡权术，这让朕很是为难啊！”
李林甫恭敬地说：“陛下乃是一国之君，古语曰，‘普天之下，莫非王土；率土之滨，莫非王臣。’整个大唐百姓都是陛下子民，陛下若想封赏哪个子民、任用哪个子民，全是陛下自己一家之事，跟别人又有什么关系呢？”唐玄宗心情变得舒畅起来，说：“还是李爱卿深知朕的心思。如果朝堂百官人人都能像你一样聪明睿智、善解人意，朕可真是轻松多了。”停了片刻，又颇为怨恨地说：“上次幽州节度使张守珪击败契丹，朕欲任命其为宰相，遭到张九龄的反对，朕体谅他的忠心，就接受了，不再坚持原有想法。这次朔方行军大总管牛仙客在担任河西节度使期间，功劳显著，政绩卓越，朕也想任命其为宰相，可张九龄依旧反对，朕仍然接受，放弃了之前的念头。没想到，张九龄居然得寸进尺，连朕欲给牛仙客加实封，也会强烈拒绝。看来朕若是这么一味地让步，只会使张九龄以后变得越发狂妄自大，认为随随便便就能阻碍朕的决定。不行，等过几日，朕就下诏：赐牛仙客为陇西郡公，加实封三百户；并且言明，不管是谁，胆敢违逆朕的旨意，朕定当严加惩处，绝不姑息！”
让牛仙客担任宰相的愿望落空了，可李林甫心里还是颇为得意，因为亲眼目睹唐玄宗对张九龄的厌恶几乎到了爆发的边缘，不禁想着：“张九龄啊张九龄，你真以为圣人让你，就是怕你吗？圣人作为九五之尊，岂能三番五次地让你。今后出现一点差错，被人奏报圣人，你便要大祸临头了。”嘴上却说：“臣万分拥护陛下的英明决定，朝中若是有人反对，臣立即将他罢黜，并且逐出长安，永不录用。”
唐玄宗问：“啊，对了，李爱卿，你此时前来见朕，所为何事？”李林甫早有准备，忙说：“臣此时前来，只是希望了解一下，寿王李瑁和寿王妃杨玉环何时返回长安？”唐玄宗叹了口气，说：“唉，朕也非常想念他们，恨不得他们即刻就能返回长安；前日听人专门奏报，说他们在洛阳举案齐眉、如胶似漆，恩爱无比，羡煞旁人。而杨家成了皇亲贵戚后，日日宾客盈门，李瑁和杨玉环应接不暇，难以脱身，或许还要等上一、二个月，才能返回长安吧。”
李林甫说：“去年底，臣有幸担任册封寿王妃的正使，赶赴洛阳，亲眼见到了杨玉环。杨玉环天生丽质，性格婉顺，精通音律，是天下罕见的才貌双全的女子；臣为寿王李瑁能娶杨玉环为妻，感到由衷地高兴啊！”唐玄宗说：“看着儿女逐渐长大成人，朕知道自己也老了不少，在处理国事时，经常有力不从心之感。作为百官之首的宰相，应该主动替朕分忧解愁才对，可是那个张九龄……。唉，一想起他，朕就感到头疼。”李林甫忙说：“陛下不必为倔强而迂腐的张九龄烦恼。臣不才，情愿分担陛下所有忧愁。陛下今后若遇疑难棘手之事，只管放心交给臣办理，臣保证能使陛下称心如意。”
唐玄宗面露喜色，说：“听李爱卿这么一说，朕的心里感到特别舒服。李爱卿担任宰相以来，事必躬亲，从不让朕操心。朕为大唐能有李爱卿这般能干之臣而自豪啊！”李林甫说：“多谢陛下抬爱。若无事情，臣就告退了。”唐玄宗略一点头，说：“李爱卿，你忙碌去吧。”李林甫恭敬地退下了。