又过了一年，也就是卫子夫立为皇后的这年秋天，匈奴入侵汉境，杀辽西太守、破韩安国镇守的渔阳，杀掠百姓共三千余人。汉武帝重新起用李广镇守右北平（今辽宁省凌源西南），匈奴兵听到消息便改由雁门关入攻。汉武帝便派卫青正面迎敌，李息从代郡夹击，共斩敌数千人。卫青的军事才能得到了进一步的证明。
此后，卫青一发不可收，他前后出击匈奴七次，所部斩敌五万余人，获马牛羊各类牲畜百万余头，和匈奴单于正面交战一次；先后驱逐匈奴白羊王、楼烦王、右贤王，收复河南地区（内蒙古河套地区），为汉朝的版图增加了朔方郡、五原郡。他自己被封为长平侯、大将军大司马，前后受封共计一万一千八百户，三个儿子也分别被封为宜春侯、阴安侯、发干侯，分别各领有一千三百户封邑。卫青的部属因战功封侯者九人，为将者十四人。
卫子夫和卫青的外甥霍去病更是军事史上的传奇，他十八岁以剽姚校尉随舅父两次出征匈奴，率八百骑兵奔在大部队前几百里，以很小的损失杀敌二千零二十八人，杀死匈奴相国和当户、单于祖父籍若侯产，活捉单于叔父罗姑比。封为骠骑将军、冠军侯。此后他四次以将军身份出征匈奴，一直打过居延海、祁连山，共斩获匈奴军十一万多人，得休屠王祭天金人。由于他重创昆邪王、休屠王所部，畏惧单于降罪的昆邪王遂杀休屠王，率部四万余人归降，河西酒泉遂归汉土，瀚海以南再无匈奴王庭。霍去病因战功，四次加封，直至食邑一万五千一百户。他的部属封侯六人，为将两人。只可惜将星早殒，元狩六年（前117）九月，二十四岁的骠骑将军、大司马就因病离开了人世。刘彻对霍去病的早逝深为感伤，派铁甲军为霍去病修成一座仿如祁连山模样的大墓，上谥号为景桓侯，让他的儿子霍嬗继承爵位。霍嬗字子侯，还是一个小孩子，刘彻将他留在身边抚养，希望他长大成人后也能成为像父亲那样的将领。然而六年后，尚未成人的霍嬗就夭折了，武帝哀伤之极，特给他上谥号为“哀”。
如果说卫青和霍去病当初能够得到出征为将的机会，多少是沾了卫子夫这个皇后的光的话，那么当卫青和霍去病以不容置疑的实力和天分纵横大漠、开疆拓土立下不世功勋之后，便轮到卫子夫沾弟弟和外甥的光了。
随着年龄的增长，卫子夫的美貌也随时间的推移而失去光彩，更多的美女充实了刘彻的后宫，在这些女子当中，赵国王夫人为武帝生下了儿子齐王刘闳，尤其得宠。但是她出身低贱贫寒，娘家也没有谁有能耐出人头地。卫青的好友宁乘于是劝卫青：“你虽然立下大功，但是你的儿子们得到封侯仍然是靠卫皇后的情面。而如今皇帝宠爱王夫人，如果您能对王家有所表示，那么对皇后也有好处。”卫青采纳了宁乘的主意，从武帝的赏赐中拿出五百斤黄金送给了王夫人的家人。
刘彻从王夫人处听说了这件事，果然心花怒放，但是他知道以卫青耿直的性格，不太可能主动这样做，便向他询问。卫青毫不隐瞒地将来龙去脉告诉给了武帝。武帝对宁乘出了这样一个惠及新宠的好主意十分高兴，立即封他为东海都尉。同时更对卫子夫对家人的约束、卫青的谦恭刮目相看。于是，次年（元狩元年）四月丁卯，册卫子夫所生的皇长子刘据为太子。
虽然丈夫渐渐移情别恋，但这一年对卫子夫来说还是喜讯不断的。继儿子刘据成为太子之后，从前的主人、皇帝的胞姐平阳公主也主动提出要下嫁做自己的弟媳妇。
平阳公主的丈夫曹寿早已去世，如今的平阳侯是她的儿子曹襄。当守寡多年的她想要再嫁，召集家臣门客来商议朝中列侯谁堪为配的时候，众人都不约而同地推荐了长平侯卫青。平阳公主虽然早有此心，但是仍然觉得卫青曾是自己的家奴，怕如此下嫁会引来非议。众人劝道：“如今卫青已是大将军，而且姐姐是皇后，外甥是皇太子，自己成万户侯不算，连三个儿子都封了侯，连他外甥霍去病在内，一门五侯。这样的人不嫁，还有谁值得嫁呢？”
这话说得平阳公主连连点头称是，于是她立即将这个想法告诉卫子夫，请她转告武帝赐婚。
汉武帝对姐姐的想法大力赞成，而对于卫子夫姐弟来说，从前的主人主动表示愿做卫家的媳妇，也是非常引以为荣的事情。于是一场浩大豪华的婚礼举行了。史家对此深为感慨，道：“丈夫当时富贵，百恶灭除，光耀荣华，贫贱之时何足累之哉！”再往后，将自己嫁进卫家的平阳公主更进一步，让自己的儿子平阳侯曹襄迎娶了卫子夫和刘彻的女儿卫长公主。
卫氏家族的富贵荣华，到这时已经达到了最高潮，可以说是贵震天下。在此之前，历史上从来没有发生过这样的情形，一个奴隶家庭，竟能在短短十几年间演绎出这样的神话。一时间，民间歌谣响彻云霄：“生男无喜，生女无怒。独不见卫子夫霸天下！”
与此同时，寂寞的长门宫里，废后陈娇仍然在年复一年地苦度岁月。在得知卫子夫的儿子成为太子之后，已经完全绝望的陈娇又得到了母亲馆陶长公主病逝的消息。更令她痛不欲生的，是母亲临终时留给武帝的遗言——只是恳请让自己和小情夫董偃合葬，根本就没有一字半句提到十几年未见面的女儿。
在馆陶长公主去世后数年，陈娇的哥哥、堂邑侯陈季须淫乱，还和兄弟们手足相残。武帝对表哥的行径恼怒不已，于元鼎元年（前116）下令追查。陈季须畏罪自杀，堂邑侯的封爵就此撤销。
失去了所有指望和依靠的陈娇此后又在长门宫内苦苦煎熬了四五年之久，在冷清中死于长门宫。此时的刘彻正在后宫的美女群中神魂颠倒，哪有空去回想这位废了二十年的前妻呢。不过或许看在表姐弟的情分上，他传下命令，将废后陈娇以妃礼安葬于长安霸陵郎官亭东。
自从七岁的儿子刘据封为太子之后，卫子夫的寝宫里就已经很难看见刘彻的身影了。刘彻是中国历史上出名的风流皇帝，元朔年间，他便开始广选民间美女，掖庭名册上三十岁以下的美女共计一万八千名（他比唐明皇要善良那么一点，三十岁以上的宫女一律出宫遣嫁）。而且此君眼光极其挑剔，只有不施脂粉仍然姿容绝伦的女子才能入眼。他对自己的挑剔和精力都极为自负，说自己“能三日不食，不能一日无妇人”。为了有更多的名额可以容纳自己的妃嫔，他将沿袭多年的后宫制度升为十级，而怀孕生育者的封爵则在皇后以下第四级起封[亲王级的婕妤、列侯级的泾娥、关中侯级的容华、大上造（部长）级的充衣]，在如此诱人的地位富贵面前，所有的宫女和她们的家族都出尽法宝想要吸引皇帝的注意——在这样争奇斗艳的花丛中，刘彻早已经把当年和卫子夫泣涕相怜的旧情忘到了九霄云外。
在卫子夫失宠之后，首先在群芳丛中冒尖的，当然是齐王的母亲赵国王夫人。然而她在最为得宠的时候却青年早逝。不久尚未成年的齐王也死去了。
在王夫人去世之后，又一位美女进入了刘彻的视线。她就是中山国李夫人——武帝刘彻的第三位皇后。
李夫人的出身比卫子夫还不如。卫子夫虽是女奴，身世却还多少有些疑点，而且她也只在公主府内服役。而李夫人却生在一个世代为歌舞艺人的家庭，从小被作为歌伎舞女培养。然而她的哥哥李延年却使这一切发生了变化。
李延年长于歌舞技艺，在这方面是个天才，每当他唱起新曲时，听者都不由自主地被歌声感动。他长得很不错，犯法后被处以宫刑，入宫成为武帝的男宠。不久他发现自己侍候的乃是一位好色的君王，于是便在这上头动起了脑子。
有一天，武帝又让李延年歌舞助兴，于是李延年不失时机地唱了一首自己新作的歌，曰：“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得！”武帝听了之后不禁遐想联翩，叹息道：“这只是歌而已，难道世上真有这样倾城倾国的佳人吗？”
于是，早已收受了李家大量贿赂的平阳公主立即在旁边不失时机地报告：“李延年歌中所唱的美女，就是他自己的妹妹。”
刘彻自然大喜过望，立即召见。一见之下心旷神怡，不但果然美得超乎想象，具有李延年所唱的那种清高绝世气质，更聪明无比，还能歌善舞。刘彻立即将她纳入后宫，一时间形影不离，令后宫女子妒忌无比。有一次武帝去李夫人宫中，偶然头痒，便拔下李夫人的玉簪搔痒。这消息很快传遍后宫，宫中女子一时以玉为簪成为风尚，以至于长安城中玉价涨了一倍。想来大约是因为发簪拔下，李夫人意态迷人，刘彻因此又赞了几句或者留宿一宵。总之，带携玉石商人赚了一笔，而从此玉簪更在中国历史上多了一个别名：“玉搔头”。汉武帝大概觉得玉簪被宫女们用得滥了，为了凸显李夫人的与众不同，便转而下令工匠用象牙给李夫人制作篦梳插在头上。
皇帝如此热情的结果显而易见：李夫人生下了一个儿子刘□，封为昌邑哀王。
然而好花不常开，生育不久李夫人便生了病。刘彻刚开始并没有把她的病当一回事，然而没有想到李夫人的病情很快加重，刘彻终于有些担心了，亲自前往看望。
听说皇帝驾临，李夫人立刻用被子将自己的脸蒙了起来，说：“我病得太久了，容貌憔悴，不成模样，不能再见皇帝。我死后，希望您能好好照顾我的儿子和兄弟们。”刘彻说：“你已是病到不治的地步，我此来也许是见最后一面，你当面托付后事，不是更好？”李夫人回答：“不整理仪容，不得见君父。我不敢有违圣人的教诲。”刘彻急道：“只要你肯再让我见你一面，我就赐你千金，封你兄弟为高官。”李夫人拒绝执行：“封不封官全凭皇帝您的心意，并不在于见不见这一面。”她越是不愿见，刘彻就越想见，可是不管他怎样好说歹说，李夫人就是不见，而且径自转过身抽泣起来。
放眼天下，恐怕刘彻从来还没有想过，世上会有哪个人（无论是男人还是女人）敢违抗自己的意旨，不想见自己的面——而且是自己好言相求之下仍然不见的。他恼火之极，起身就走。
入宫陪侍李夫人的李家姐妹们都被武帝刘彻发怒的模样吓坏了，武帝一走，她们立即七嘴八舌地责备李夫人：“你为什么就是不肯见皇帝一面嘱托兄弟儿子呢！难道你恨他如今才来看望你呀？”李夫人叹息道：“我之所以不肯见皇上，正是为了要更好地托付兄弟儿子。我因为生得美貌，才能由微贱中得到皇帝的喜爱。世上以色事人者，色衰则爱弛，爱弛则恩绝情断。皇帝喜欢我，完全是由于我的容貌。我重病之后，从前的美色尽失，如果真被皇帝看见我如今这个样子，他只会厌恶唾弃我，就连从前留给他的好印象都会一扫而光，他哪里还会肯回想旧情，照顾我的孩子和兄弟呢！”
这一次探病之后不久，李夫人便逝世了。她死在霍去病之前，享年也应该比霍去病更短，可能只有二十岁左右。如果是现在，这不过是大学未毕业的年龄，但是她留在史书上这短短的几句话，其中折射出的智慧、坚忍及胆识，却足以让她成为历史上最难以令人忘怀的女子之一。
李夫人的冰雪聪明和清醒理智，在她去世后得到了事实的验证。刘彻满脑子都是她不可方物的迷人形象及自己将她“气”得病中啼哭的过错，李夫人不肯见面的事他已经完全不放在心上了。于是他伤感万分，为了表示自己的情意，他下令为李夫人举行皇后级别的葬礼，为她在自己的茂陵北选择葬地。《三辅黄图》记载这墓地的规格道：“东西五十步，南北六十步，高八丈。”
这还不算完，刘彻仍然觉得没有表达够自己对李夫人的思念之情，又让画师画了她的像，挂在甘泉宫里时常追忆。
画像看得多了，刘彻越发思念不已。这时有一个齐国来的方士少翁自告奋勇，说自己能为武帝召李夫人的魂魄前来相见。
于是在这天晚上，少翁摆下灯烛，在李夫人生前起居的地方设起帷帐，在帐前陈列酒肉祭品，又另设一帐让武帝安坐其中，并要求他无论看到什么都要保持风度，维持现场肃静的状况。然后他便舞弄起来。
果然，片刻之后，武帝便仿佛远远地看见帷帐中出现了一个姣好的身影，恍惚便是李夫人的模样。武帝眼看这身影在帷帐中时而安坐时而款款步行，自己却只能远远地旁观，终于按捺不住站起身来，可是刚刚站起，那帷帐中的身影便悄然消失，只剩下一片静寂漆黑。
武帝被这场面打动，伤感不已，作诗道：“是邪，非邪？立而望之，偏何姗姗其来迟！”后来他又作了另一首悼念词《落叶哀蝉曲》：“罗袂兮无声，重墀兮生尘，虚房冷而寂寞，落叶依于宁扃，望彼美之女兮，安得感余心之未宁。”武帝命令宫廷乐师将两首词都配上音乐，让宫女们在后宫中传唱。
有这么一天，武帝在延凉室内休息。在梦中他看见李夫人出现，还将手中的一把蘅芜香送给自己。当他猛然惊醒，吃惊地发现虽然只是一场春梦，那阵阵异香仍然留在衣枕之间，好几个月都没有消失。为了纪念，武帝便改延凉室为“遗芳梦室”。
在宫女们吟唱的情歌声和如此的奇境反复刺激之后，刘彻对李夫人更是相思欲狂，不久写下了一篇更为动人的赋：
美连娟以修嫮兮，命樔绝而不长。饰新宫以延贮兮，泯不归乎故乡。惨郁郁其芜秽兮，隐处幽而怀伤。释舆马于山椒兮，奄修夜之不阳。秋气□以凄泪兮，桂枝落而销亡。神茕茕以遥思兮，精浮游而出畺。托沈阴以圹久兮，惜蕃华之未央。念穷极之不还兮，惟幼眇之相羊。函菱荴以俟风兮，芳杂袭以弥章。的容与以猗靡兮，缥飘姚虖愈庄。燕淫衍而抚楹兮，连流视而娥扬，既激感而心逐兮，包红颜而弗明。□接狎以离别兮，宵寤梦之芒芒，忽迁化而不反兮，魄放逸以飞扬。何灵魂之纷纷兮，哀裴回以踌躇。势路日以远兮，遂荒忽而辞去。超兮西征，屑兮不见。浸淫敞恍，寂兮无音。思若流波，怛兮在心。
乱曰：“佳侠函光，陨硃荣兮，嫉妒翕茸，将安程兮！方时隆盛，年夭伤兮，弟子增欷，洿沬怅兮。悲愁于邑，喧不可止兮。响不虚应，亦云己兮，嫶妍太息，叹稚子兮，懰栗不言，倚所恃兮。仁者不誓，岂约亲兮？既往不来，申以信兮。去彼昭昭，就冥冥兮，既下新宫，不复故庭兮。呜呼哀哉，想魂灵兮！”
不过，司马迁却在他所著的《史记》中，说少翁为汉武帝所召的“佳人”并非李夫人，而是齐王的生母、同样早逝的王夫人。
《拾遗记》则说，汉武帝确实也召过李夫人之魂相见，但是他找的方士名叫董仲君。董仲君花了十年工夫，才在海外找到能够让魂魄依附的奇石，刻成李夫人的模样放在轻纱帷幕之中，果然恍若李夫人再世。武帝非常高兴，想要走近“李夫人”身边，董仲君却说那石头上有奇毒，何况魂魄并非活人，因此只能远看不能靠近。为了不让武帝误碰，董仲君很快便将这石像裂为九段。武帝大失所望又相思难耐，随后便修筑了梦灵台，用来祭祀李夫人。
而民间更有这样的说法，说武帝上了方士的大当，他隔着纱帐所看到的“魂魄”，与李夫人、王夫人都没有关系，其实只不过是少翁等人的一场皮影戏表演而已。
但是不管怎么说吧，汉武帝刘彻对李夫人一往情深（当然也许只是李夫人死在了他最爱她的关键时刻），他对李夫人辗转多年都不曾淡忘，就连他晚年重用的名臣霍光都对此留下了深刻的印象。当武帝去世之后，由于他生前绝大多数有名号的后妃都先后被他以罪谪死，而他身为皇帝，总不能光杆一个葬入帝陵吧！作为托孤重臣的霍光、金日磾苦思冥想之后，终于灵光一闪，追封李夫人为“孝武皇后”，将她的灵位与武帝并列享受后人的祭祀。
由于在死后当了皇后，李夫人墓被称为“英陵”，又名“习仙台”。
然而从李家姐妹责备她为何不见皇帝的场面可以推想，李夫人的兄弟姐妹们不但没有她十分之一的冰雪聪明，更热衷于功名利禄，很容易就被冲晕头脑，对帝王的喜怒无常以及感情世界没有足够的认识。
在李夫人早逝之后，相思情切的刘彻晋封李夫人的哥哥李广利为贰师将军、李延年为协律都尉。
武帝是雄才大略的帝王，由于他的富于进取和野心，中国得以拓土开疆。但是他有令人望而生畏的特征：多疑。如果他觉得自己的王权受到了威胁，他更能六亲不认并且杀人如麻。
在霍去病崭露头角之后，早已对卫青军权过大产生疑虑的刘彻毫不犹豫地开始重用霍去病，借此遏制卫青的气势。而卫青对此毫无怨言，也许是少年时吃过太多的苦，他的性情和善，谦恭退让，对武帝所作的任何决定都毕恭毕敬地接受。霍去病虽然年轻，但性格豪迈有气魄，敢作敢为，从不泄露别人说的话。刘彻对他非常喜爱，甚至达到了纵容的程度。
然而，霍去病很早就去世了，这严重打击了武帝，也搅乱了他的计划。虽然卫青有军事天才，更有出兵必胜的运气，武帝仍然不愿再起用他，以至于在霍去病死后很长一段时间里，汉朝都没有再次对匈奴用兵。
