此后数年之间，匈奴连年入侵，云中、辽东二郡每年被杀掠人口万人以上，而汉朝无力还击匈奴，只得向老上示好，许以和亲和“岁贡”。老上接受汉朝讲和的请求，两国相约以长城边塞为界，互不侵扰。
老上单于又娶汉朝翁主刘氏，生二子：军臣单于和伊稚斜单于。军臣单于即位后不久即被其弟伊稚斜单于篡位并杀死。
从秦二世元年到汉武帝元朔元年（共81年），即冒顿、老上、军臣三单于时期，是匈奴的全盛时期。伊稚斜单于在位其间，正是一代雄主汉武帝大放光彩的时期，自古两雄不两立，汉匈大战在所难免。
大汉经过七十年的休养生息，经济、国力大大增强，对匈奴从战略防御转为战略进攻，武帝以极大的魄力发动了三次大战：也称漠南之战、河西之战、漠北之战。漠南之战，汉武帝派卫青收复河南地区；河西之战，武帝派霍去病夺取河西走廊，受降匈奴右部十万人，设武威、酒泉、敦煌、张掖四郡；漠北之战，卫青、霍去病率五万骑兵分两路出击，卫青击溃单于，霍去病追歼左贤王七万余人，封狼居胥。两军共歼灭匈奴军九万余人，使其一时无力渡漠南下。
匈奴的衰落自此开始了。匈奴的衰落时期从伊稚斜单于至呼韩邪单于，经历十八任单于，大致的时间从汉武帝元鼎年间到汉元帝建昭三年灭郅支单于为止。
伊稚斜死后，子乌维立，乌维死，子詹师庐立，詹师庐死，季父呴犁湖立。在这十几年间，匈奴避居漠北休养生息。而汉朝因人力、物资损失很大，及为了征伐朝鲜、西羌及西南夷，也暂时停止对匈奴的用兵。
汉朝在东部联合乌桓，西部派张骞两次出使西域，联络大月氏、大宛，以和亲、通商的方式联合西域诸国，压缩匈奴的空间。武帝死后，汉朝暂时停止对匈奴的攻击。
昭帝时，匈奴为缓和与汉的敌对关系，把扣留了十九年的汉使苏武释放，以示善意，但匈奴骑兵仍然不断在北方边境出现。后来，匈奴转攻西域的乌孙以索要公主（即西汉嫁给乌孙王的解忧公主），乌孙向汉求救，汉朝组织五路大军十几万与乌孙联兵进攻匈奴。
后来，年汉朝再次联兵二十万合击匈奴，大获全胜，直捣右谷蠡王庭。同年冬，匈奴出动数万骑兵击乌孙以报怨，适逢天降大雨雪，生还者不足十分之一。是时丁零北攻，乌桓入东，乌孙击西，匈奴元气大伤，被迫向西迁徙以依靠西域，西域再次成为双方以争夺重点。双方反复激烈争夺车师之际，十年后，匈奴内部因掌管西域事务的日逐王先贤掸与新任单于屠耆堂争夺权位发生冲突。日逐王降汉，匈奴被迫放弃了西域。汉完全控制了西域，匈奴实力大减，己无力扰汉。
匈奴因战争、天灾、领土及人口的减小，处境日益困宭，内部纷争开始激化。自伊稚斜单于后，匈奴单于更迭频繁。匈奴放弃西域之后，虚闾权渠单于死，其妻颛渠阏氏与其弟都隆奇合谋立右贤王屠耆堂为单于。他上任后，排除异己，杀尽前单于所用旧人，重用自己的子弟，以致发生内讧，兵败自杀。他死后，匈奴开始争夺单于王位的内战。
两年后，匈奴出现五单于争立事件。匈奴东部姑夕王等人共立虚闾权渠单于子稽侯栅为呼韩邪单于，击败握衍朐鞮单于，握衍朐鞮自杀身亡。都隆奇等人共立日逐王薄胥堂为屠耆单于，击败呼韩邪。此时呼揭王自立为呼揭单于，右奥鞮王自立为车犁单于，乌籍都尉亦自立为乌籍单于，是为五单于争立时期。屠耆单于先后攻击乌籍、车犁，乌籍、车犁皆败走西北与呼揭合兵，呼揭、乌籍皆去单于称号，拥车犁为单于，为屠耆所败。呼韩邪乘机进攻，屠耆大败自杀，车犁也率部投降。不久，呼韩邪兄呼屠吾斯自立为郅支单于，居东边。屠耆从弟休旬王也自立为闰振单于。
又过了四年，闰振率军东击郅支，兵败被杀。郅支乘胜击破呼韩邪，据漠北王庭。呼韩邪单于南下投靠汉朝。后来郅支单于则率部众退至中亚康居，呼韩邪单于占据漠北王庭。八年后，为了清除匈奴在西域的影响，甘延寿、陈汤远征康居的匈奴，击杀郅支单于。