如此这般，汉军饿死的人数众多，攻城的时候又多有死伤，等到了大宛国境的时候，李广利率领的好几万士兵，竟然只剩下几千人，而且大多饥饿疲乏。
攻打郁成城，又被大宛大败，死伤众多。李广利和左右商议：“至郁成还不能攻下它，何况到大宛王都城呢？”就带着部队撤退。往返花了两年，回到敦煌，士兵剩下不过十分之一。
刘彻收到李广利请求撤回长安的奏章之后勃然大怒，派遣使者拦守玉门关，说将士们敢有入关者立即斩了，这便是“闻道玉门犹被遮”的著名典故了。
虽然第一次远征大宛失败，有李广利这个人本身才能不高被赶鸭子上架的原因，但从中还是可以看出不少值得这次出征时吸取的经验的。
首先，西域各国暗地里互相支持，为难汉军。
其次，汉军远征，缺少足够的粮食，挨饿是个非常大的问题。
第三，西域的城墙虽然不算牢固，但对于熟知地理的当地人来说，守城阻拦汉军还是比较容易的。
“霍将军，我是在想，这次我们出征大宛，我们这次随身携带的粮草不多”张贺提出了心中的疑惑，“在玉门关和在楼兰都有最后两次机会补给军队，为何将军没有作此考虑？”
“带太多粮食，一则耗时准备，二则给战马增加负担。”霍去病果然如此回答道，“舅舅这次给我们凑的一万骑已数不易，如果路上累倒了，可没有多余的马匹换去。至于粮草补给，我信奉打到哪吃到哪，就地取食，才能快速打击敌军，出其不意。”
“虽然楼兰给我们提供粮草，但接下来那些西域小国，很有可能闭城门而不出，到时候我们到哪里去寻找食物？”
“那就攻下城池。”
“这就是我忧心的另外一个方面。”张贺说道，“匈奴人多是帐篷营地，骑兵作战很有优势，而骑兵对攻城，却不算有利。”
“所以这次我带了步兵。”霍去病回答道，“你放心好了，在步兵里带了一些攻城用的器械，如果实在打不下来，不妨等一等他们，不过我觉得我们这次是不需要等的。”
在和霍去病对话之后的第二天，汉军果然遇到了这次行军路上第一处阻拦。
从楼兰过去不远便到了车师，车师自上次被赵破奴张贺等人攻打之后，就分裂成了车师六国，半数归附于汉朝廷，半数却和匈奴人颇有勾结。
这次看到汉军，一打听霍去病的两个副将都是上次攻打车师的主力，正是新仇旧恨一块来了，车师紧闭城门，不愿意让汉军通过。
这车师故城位于一处山坳要道上，地势易守难攻，如果要绕道这里，就要取道条件艰苦的沙漠，经过精绝国。
霍去病自然是不想要费劲精力绕道的，那就只有攻城了。
他命几名小兵在车师故城下面轮番叫阵，想让对方出城迎接，但对方却如同一个万年鳖精死咬牙关，就是缩着脑袋不肯出城。
入夜，霍去病命骑兵在城门外两里外扎营，将副将和校尉都召集起来，在灯火通明的大帐里面商议。
霍去病指着一张西域地形图，对大家说：“现在摆在我们面前的有两条路，一是改道精绝国，但是马匹穿越沙漠，沿途绿洲又不多，很容易消耗马匹，对我们不利。”
“将军说得是。”王恢连忙补充道，“之所以我们汉使团和商队都喜欢从楼兰、车师中间取道经过，就是因为这条路是通往大月氏、安息等国的必经之路，而精绝国所处的沙漠，天气异常炎热，没有大的河、湖，一般我们不会特地从那里经过。”
“那第二条路，就是暂且退回楼兰，等我们的后援步兵带着攻城器械过来。”
霍去病这番话说完，大帐里如同炸开了锅，大家轰地一声，开始你一句我一句地讨论了起来，说什么意见的都有。
“将军，切切不可，我们跟随将军出征，从未退缩过，此番刚出玉门关就要后退，实乃动摇军心之举。”