霍去病在军中的势力大长，已经和他的舅舅并驾齐驱了，大将军和骠骑将军都当了大司马。而且定下法令，让骠骑将军的官阶和俸禄同大将军相等。这次漠北战役是霍去病生命中的顶峰，但也是少年将军的最后绝唱，一代战神的传奇在这里画上一个句号。
在霍去病生命中的最后两年中有一件事的发生，使这个少年将军的一生出现了一块阴影，那就是射杀李敢。李敢是李广的三儿子，在漠北战役中是霍去病的大校，实际上就是副将，这说明霍去病还是很信任李敢的，因为这样的人事安排表明在霍去病战死后就由李敢指挥部队，两人都是富家子弟，又都是将门之后，关系应该不错，但是由于李敢的父亲李广在漠北战役中由于迷路耽误军机，最后自杀了。当时李广是在卫青麾下，所以李敢对卫青很不满。同时漠北战役后霍去病军团的人多有封赏，卫青军团的赏赐就不是很多，汉武帝也越来越欣赏这个外甥，当时卫青的老友和门客多半离开了他，而去奉事骠骑将军，这些人常常因此而得到官爵，所以李敢认为卫青失宠了，而且还认为霍去病和卫青有了矛盾，于是就打伤了卫青，卫青把这件事隐瞒了下来。
但是李敢错误估计了霍去病，霍去病所处的时代是个十分看重家族血缘关系和家族荣誉的时代，这是形成汉王朝统治集团内部门阀之争的重要因素之一。霍去病毕竟和卫青是甥舅之亲，李敢这样做，是对霍去病家族的挑战，同时卫青应该也是霍去病少年时的偶像，我认为霍去病之所以要上阵杀敌，而不是在长安城中做一个纨绔子弟，卫青的影响是很重要的因素，当李敢打伤了卫青，家族的荣誉和少年的偶像情节，于是霍去病在陪汉武帝到甘泉宫打猎，李敢、霍去病同为扈从，霍去病射杀了李敢。
从现在人的角度来说霍去病这样的做法不妥，但是在当时的时代，家族的血缘是很重要的，即使是几百年后的魏晋南北朝，血缘也是很重要的政治因素，李敢这样的行为无疑是挑战卫家的政治地位，同时这时的霍去病只有23岁，还是一个年轻人，此时的他让人想到他整个人就像一只黑豹，造物将这大猫的全副骨骼和肌肉打造得极为精致而强悍，就如一个随时可以紧缩或强力张开的弹簧，它的四肢修长华美，锐利的爪子可以缩在肉垫之中，使它行走起来悄无声息；而那炯炯的目光甚至有一种勾魂摄魄的磁性魔力。它可以长久地不动声色地跟踪、守候一个猎物，极为耐心地等待可乘之机，时机一到，这黑色的精灵就会如闪电般暴起一举将仇敌击毙。对匈奴是这样，对于李敢也是这样，因为都是敌人。
霍去病从童年时代就是生活在富贵之家，当时他的家族在当时的长安也是属于大家族的，所以霍去病天生是个大少性格（很酷很冷很倔），于是在当时他出兵打仗时，天子派遣太官赠送他几十车食物，待他回来时，辎重车上丢弃了许多剩余的米和肉，而他的士卒还有忍饥挨饿的。他在塞外打仗时，士卒缺粮，有的人饿得站不起来，而骠骑将军还在画定球场，踢球游戏。这是一种天生的毛病，是家族给他的烙印，考虑到霍去病的身份、年龄和心理成熟度（军事才能上的成熟不等同于其他方面的同步成熟），不要强求一个天生富贵的小孩成为一个圣人，让霍去病有机会多活上几十年、也许他也会向李广看齐，何况，尽管霍去病不体恤士卒，好像并不妨碍这些士卒替他卖命。其实从汉朝士兵的角度来说，也许更愿意在霍去病的麾下，因为毕竟大多数人还是渴望一战成名，功成封侯。
元狩六年（前117），年轻的将军霍去病去世了，而死于什么原因史书中没有记载，这位伟大的少年将军就如流星一样从历史的舞台上消失了，汉武帝对他的死很悲伤，调遣边境五郡的铁甲军，从长安到茂陵排列成阵，给霍去病修的坟墓外形象祁连山山的样子。给他命名谥号，把勇武与扩地两个原则加以合并，称他为景桓侯。
他的舅舅卫青在10年后去世，卫青和霍去病的墓都在汉武帝的茂陵旁边，霍去病的墓很像祁连山，而卫青的墓很像匈奴境内的卢山。两山之中，是牢固的汉室江山。霍去病好像就是为了打败匈奴来到这个世界上，在他短暂一生中，从18岁第一次出塞，19岁歇了一年，20岁三出河西，春天的时候在河西走廊纵横了近4000里，带着一万人冲杀于匈奴各部，回来的路上更是在今兰州城西北郊的皋兰山跟匈奴两个部落王鏖战一场，一万人最后只剩下3000人，可以想见其战斗的激烈。稍事修整过后，又在夏天再次出塞，这一次在军事史上堪称经典的大