第二次北征的时间选定在高宗开耀元年（681年）的三月，这时是晚春，是有利于进军的一个时节。史书上没有记载这次出征唐军出动了多少兵力，但是可以肯定的是要少于第一次远征。在第一次远征中除了裴行俭直辖的十八万军队之外，还有程务挺与李文暕两路大军共计十二万人，而这次远征中，程务挺、李文暕的兵团已经编入裴行俭的直辖兵团中，没有其他的协攻兵团。
右武卫将军曹怀舜与裨将窦义昭作为先锋部队，率先进入突厥作战。曹怀舜刚迈出边界，就打听到了一个小道消息，称突厥可汗阿史那伏念与阿史德温傅两人正在黑沙北，而且随身跟从的骑兵不足二十名。
曹怀舜听到这个消息后，大喜过望，也来不及证实消息的准确性，便将部队中老弱官兵留下，自己则亲率精锐轻骑兵，急速奔往黑沙，企图一举将突厥最重要的两名头目生擒，抢得北征第一功。
可是这则情报来源的真实性很值得怀疑，曹怀舜赶到黑沙时，发现这里一个突厥人的影子也看不到，倒是累坏了这些急行军的骑兵。既然找不到敌人可以打击，曹怀舜只得悻悻而回。
不过曹怀舜的运气不错，也没有空手而归，他在半途中正好遇上铁勒族薛延陀部落的人马南下，薛延陀自从在唐太宗时代被灭国之后，其部落一蹶不振，这次可能是受到突厥的恐吓，准备归附突厥人。遇到曹怀舜的唐军之后，薛延陀部落首领改变了主意，索性向曹怀舜投降。这样曹怀舜便捞得了一个大便宜，同时为裴行俭的远征大军清除了一个潜在的敌人。
既然找不到突厥的主力，曹怀舜便率军南返，在长城以北附近，遇上了阿史德温傅的突厥军，双方打了一场小仗。这只是试探性的战斗，双方伤亡都不大。这时第二梯队的唐军也越过长城，第二梯队是李文暕及其裨将刘敬同统领，与曹怀舜在横水会师。
此时，自立为突厥可汗的阿史那伏念率主力兵团也出现在横水附近，与阿史德温傅的兵团会合，开始向唐军发动进攻，这两支军队，是突厥反叛的核心力量。
曹怀舜与李文暕马上将军队组合成方阵，与突厥军队交战。
此时曹怀舜部因为刚刚远距离跋涉，兵疲马困，战斗力发挥不出来，打得十分被动，还好唐军的方阵防御很坚强，突厥骑兵一时也找不到突破口。
唐军且战且退，突厥人紧咬不放，苦战了一天。
就在突厥兵力倾巢而出时，其后方防卫非常薄弱。
老谋深算的统帅裴行俭暗中派遣裨将何迦密从通漠道进军，程务挺从石地道进军，直取阿史那伏念的老巢金牙山。金牙山的突厥守军力量十分薄弱，完全不是唐军的对手，很快便被击垮，阿史那伏念的妻子、儿子全部被唐军所俘虏，辎重粮草也尽数落入唐军之手。
此时突厥可汗的后院已经丢失，只要曹怀舜可以顽强地顶住突厥人的进攻，等待何迦密、程务挺两路大军回援，必可以前后夹击，大破突厥军。但是没想到关键时候，曹怀舜信心动摇，抛下部队，撒腿就跑，要知道军队的士气，很大程度上是由主将带动的，主将自己跑了，战士们怎么打仗？结果军心大乱，其余几位将军也没法控制。
突厥人见状，更加猛烈地攻击，唐军防线全线崩溃，死伤无数。
曹怀舜没头没脑鼠窜了半天，终于缓过劲来，这才想起来自己是前线总指挥，想起自己那位严厉的上司与统帅裴行俭，心中一震，不行，不能这样一走了之。他总算还记得要收拾残兵，于是又往回走，与溃败的唐军残部会合。
突厥可汗阿史那伏念的追兵已经逼近，紧追不舍，而唐军一片混乱。怎么办？曹怀舜狗急跳墙，下令把军中的金帛搜刮一空，然后派人前去贿赂阿史那伏念。
事实证明阿史那伏念也是平庸之辈，见到这么多的金帛，怦然动心，遂答应曹怀舜议和，收了钱财，停止了追击。可是他也不想想，这些钱财，他有福消受吗？
等到阿史德温傅的军队赶到时，唐军已经跑远了。阿史德温傅见阿史那伏念的兵团原地不动，一腔怒气对可汗说：“你怎么让唐军从眼皮底下溜走呢？”阿史那伏念不紧不慢地回答：“我已经跟他们的将领议和了。”阿史德温傅一眼瞥见可汗账中堆砌的金帛，怒气冲冲地拂袖而去，边走边骂道：“竖子不足与谋！”
突厥的两大巨头关系开始恶化，这对突厥的复国大业，是一大危险。
吃了大败仗的曹怀舜回到军营，士兵们个个无精打采、灰头土脸的，一进入统帅的营帐中，曹怀舜一抬头，便看到裴行俭那双充满杀意的眼睛。裴行俭大喝道：“来人啊，将曹怀舜拿下！”曹怀舜吓得两脚发软，“扑通”一声跪倒在地，裴行俭指着他怒斥道：“你身为前军总指挥，居然临阵弃兵而逃，我大唐立国数十年，何曾有过你这样的将军？”
曹怀舜被押解回长安城中，交由有司审判，被判处死刑。不过最后，一向以慈仁著称的唐高宗还是网开一面，赦免了他的死刑，改判为流放岭南。
第二次北征的春季攻势，由于曹怀舜的临阵逃跑，不仅没有取得预期的效果，反而损兵折将，裴行俭不得不暂时停止对突厥的攻势，把军队拉回代州进行休整。
休整并不意味着裴行俭无所事事，这只老狐狸利用大军休整期间，策划反间计。
在突厥叛军中，最有影响力的人，当属可汗阿史那伏念与造反先驱阿史德温傅两人。可是阿史那伏念并非阿史德温傅所拥立，而他私自接受曹怀舜的贿赂而放走唐军这一事，又令阿史德温傅怒火中烧，两人的同盟关系已经出现了一道深深的裂痕。阿史那伏念这个人私心甚重，私心重的人往往会猜忌别人，特别是对阿史德温傅，他的提防心更严重，因为阿史德温傅乃是突厥起事最早、也是最重要的领导人，威望极高。
裴行俭一眼便洞察出二人的矛盾所在。
由于突厥汗国已经亡国五十年，所以并不是所有的突厥人都想要参与这场叛乱，仍然有相当一部分突厥人继续归附大唐。裴行俭从中挑选了一部分人，将他们派往北方叛乱区，散布小道消息。于是在突厥军内部，各种流言蜚语，不胫而走。
对于裴行俭来说，阿史德温傅才是真正的对手，因为他是突厥复国运动的灵魂人物，也是一个有才干、刚强的领导者。阿史那伏念虽然自立为可汗，但是他已经暴露出其弱点：自私、贪婪，缺少雄才大略。
裴行俭的计划，是要借刀杀人。
首先是向阿史那伏念散布一些小道消息，说阿史德温傅想要取代他的位置。
这可是阿史那伏念一直担心与提防的事情，特别是他收受贿赂，私下放走曹怀舜这件事，也引起阿史德温傅的强烈不满。
其次，裴行俭手中还有一张牌，那就是程务挺在袭击金牙山时，俘虏了阿史那伏念的妻子儿女，这张牌，关键时候可以促使阿史那伏念对阿史德温傅下手。
反间计，有时是不战屈人之兵的大谋略。
兵者诡道也。
裴行俭对孙子的这句名言有着深刻的理解，并且将这种军事思想发挥得淋漓尽致。
在自私自利与唐军反间的双重影响下，阿史那伏念经过一番思想斗争，一个想法逐渐明确了：干掉阿史德温傅，然后向裴行俭投降。阿史那伏念派人与裴行俭和谈，突厥使者传达了伪可汗的想法：“我可以抓获阿史德温傅，但唐军必须保证我与家人的生命安全。”裴行俭拍拍胸脯说：“只要能抓获阿史德温傅，这些条件都不成问题，我统统答应。”可是过了一阵子后，还是没有动静。
阿史那伏念的性格优柔寡断。他考虑到阿史德温傅在突厥人心目中地位很高，如果没能得手，恐怕自己还惹祸上身，所以一直犹豫不决。
裴行俭准备在阿史那伏念犹犹豫豫之时，施加压力。
战争之中，任何疏忽可能都是致命的，此时裴行俭已经接到派往突厥的间谍密报，阿史那伏念的大本营防卫十分脆弱。裴行俭大喜，这可是一个机会，秘密派遣刘敬同率一支骑兵，昼夜兼程，直奔阿史那伏念的老巢，同时大军也即刻开拔，作为后应。
人有时经常犯同样的错误，虽然有很多的历史经验可以借鉴，但总抱以侥幸心理。
阿史那伏念又犯了颉利可汗犯过的毛病，对手往往会在你意想不到的时候到来。刘敬同的先头部队昼夜急行军，突然出现在伏念可汗的营前。此时阿史那伏念的军队根本就是稀稀拉拉的，连把大军召集起来也没办法做到，怎么办？
这下阿史那伏念快刀斩乱麻，当即差人请来阿史德温傅，表面上说要商量如何应敌，可是阿史德温傅刚走进营帐，便被埋伏的卫队给绑了起来，然后阿史那伏念率突厥军队向刘敬同投降。
裴行俭又一次兵不血刃，瓦解突厥的叛乱。
裴行俭再度证明了自己非凡的军事才华，他的作战风格，与初唐时大多数将领不太一样，他并不像其他将领那样操刀上阵，勇冠三军，但他运筹帷幄，足智多谋，并不以力战胜，而是以智取胜。
令人遗憾的是，这次远征的胜利，并不能一劳永逸地解决突厥问题。因为唐朝廷在处置突厥战俘问题上，犯下了无可挽回的大错。
当裴行俭将阿史那伏念与阿史德温傅等人押解到京师之后，唐朝廷竟然大开杀戒。要知道从大唐建国以来，虽然征服的国家极多，却基本上都礼遇这些国家的首领，包括颉利可汗、车鼻可汗、阿史那贺鲁等都是如此处理，这也是唐帝国之所以能拓疆万里的重要原因，但是这次却决意要处死这些突厥首领。
裴行俭听了这个消息后，大吃一惊，紧急上书道：“当时伏念可汗请降时的条件之一，就是要臣保全其性命，而且他擒获阿史德温傅，也算是将功赎罪，不能处死啊。”
朝廷不听，将阿史那伏念、阿史德温傅等五十四名突厥首领全部绑赴刑场斩首，这五十四颗人头落地了，其后果是千千万万颗人头的落地。
裴行俭悲愤地说道：“诛杀已经归降的人，从今以后，再也没有人愿意投降了。”此后裴行俭声称有病，不愿意上朝，终日躲在家中，众人皆醉我独醒，能像裴行俭如此有远见的，唐王朝再无第二人。
杀降的一个严重后果，是激起西突厥的叛变，这下朝廷又慌了手脚，又想起了当年智取西突厥的裴行俭。深居简出的裴行俭虽然对朝廷杀降的做法十分愤慨，但出于一颗爱国之心，他最后还是决定复出，出任金牙道行军大总管，准备征讨西突厥，但是他还没出发，便因病去世了。最后平定西突厥的重任，由裴行俭所推荐的安西都护王方翼完成，此前文已有交代，恕不复述。
裴行俭乃是唐高宗后期最杰出的一位将领，他的杰出是多方位的，无论文治还是武功，均可圈可点。裴行俭的另一大贡献，乃是慧眼识英雄，善于发现人才。他对人才的看法，首先推重是一个人的“器识”，也就是器量与见识，器量必须是要有宽广的胸襟，不是那种斤斤计较的人，识就是一个人的胆识与判断分析力，对于唐人所推崇的“才艺”，裴行俭只把它列为观察人的次要因素。在他的推荐之下，程务挺、王方翼、刘敬同、李多祚、黑齿常之等人，均成为独当一面的将领。
裴行俭一死，大唐帝国能否阻止突厥的复国之路呢？
