这时，南宋朝廷派遣卢仲贤出使金国商谈和议条件，宰相汤思退又打算放弃唐、邓、海、泗四州，赵昚亲自拟旨以唐、邓二州不是战略要地为由，下令可能考虑放弃，虞允文五次上奏疏据理力争。
汤思退大怒，于是上奏说：“这都是因为和议的利害关系与虞允文没有太大影响，故他大谈误国，以此博取主战派的美名。事关国家安危的大事，岂能像演戏一样。”
赵昚决定向主和派屈服。
汤思退表面上请求皇上召用虞允文，实际上是想去之而后快。
虞允文交上官印，仍然请求不要割让四州领土，请求辞职退休。
赵昚下诏令虞允文以显谟阁学士身份任平江府知州。
汤思退最终决定与金议和，将唐、邓二州割让金国。
隆兴二年，公元1164年，金兵再次入侵南宋。
赵昚这才知道，不击败金人，他们只会贪婪不已，当下将汤思退等人罢官，后悔没有听从虞允文的建议。
陈俊卿举荐虞允文，认为他可堪重任。赵昚当下升任虞允文为端明殿学士、同签书枢密院事。
乾道元年，公元1165年，虞允文任参知政事兼知枢密院事。
这年秋天，金国派遣使者完颜仲前来谈判，金使傲慢无理，目中无人，虞允文请求杀死完颜仲，因朝臣中有不同意见而没有行动。正碰上钱端礼接受李宏玉带一事曝光，这件事牵连了虞允文，被御史章服攻讦而定罪，罢去官职，西归故乡主管宫观。
乾道三年，公元1167年二月，虞允文又被召回朝廷，再次担任知枢密院事兼参知政事。
不久，吴王逝世，朝廷讨论由谁接任他的职务，赵昚对虞允文说：“吴王已经去世，汪应辰恐怕不熟悉军事，这个重任只能交给你了。以后凡事不要效法张浚的迂腐固执，军中各种事情，你应该一一亲临观察指导。”
赵昚任命虞允文为资政殿大学士、四川宣抚使，不久又下诏令虞允文继续担任知枢密院事。
虞允文回到四川仅一个月，又被召到朝廷，几个月后又去四川。
太上皇宋高宗赵构赏赐虞允文御书《圣主得贤臣颂》，赵昚亲自写跋，虞允文向皇上辞行，赵昚又将自己的一双鞋和甲胄赏赐给他。
虞允文经过郢州时，上奏疏建议修筑黄鹰山城。经过襄阳时，上奏疏建议修筑府城。八月到达汉中，又前往沔阳。九月抵达益昌。离开朝廷前孝宗下手诏要求他重视九件事，一路颠簸到达四川后，虞允文全部按皇上的指示行动，尤其将军政要事放在首位。又上奏疏报告检阅了各支部队实力后，准备按照士兵们体力强壮虚弱的次序将他们分为三部分，上等兵用以作战，中下等兵用以准备军用器械、粮草、服装等行军物质，老弱病残士兵一律辞退。此次行动共裁减士兵一万人，为国家节约军费开支四百万。对于被裁减的士兵中一些立有战功、做出了成绩的人，将他们安置在空缺位子上。兴州、洋州地区的抗金义士，都是一些民兵组织，绍兴初年大约有七万余人，大散关战役中，统帅不发给他们盔甲，却让他们在官军前面冲锋，使他们几乎全军覆灭。虞允文命令利州元帅晁公武经过仔细查对后，共得士兵二万三千九百余人。又得到陕西地区先进的弓箭制造及使用技术，参照绍兴时技术编成一本书，让将士们随身携带。虞允文又将马政交给张松，奏请依历代旧制将茶马分为川、秦司。