经过一番精心准备之后，郑清之一派买通了赵昀身边的一个贴身内侍，此人名叫谢木林，通过他暗中开始在赵昀身边说了不少高怀远的坏话，然后一帮朝臣突然发难，二十多人联名弹劾高怀远，列举了高怀远数条罪状，要求赵昀惩处高怀远，以正法度。
这件事纪先成和贾奇也都没有事先预料到，被郑清之等人打了个措手不及，于是立即放飞鸽，将消息以最快的速度传递给了高怀远得知，让高怀远速速回京处理此事，以免让郑清之等人利用高怀远不在朝中，而中了他们的暗算。
其实郑清之他们罗列的高怀远的罪证很简单，但是一旦被咬上，可是重罪！第一条就是僭越之罪，起因就是高怀远尚未得到圣旨准许他兵发冀州之前，便调集大军北上，此乃大宋的一个大忌！
第二还是僭越之罪，就是高怀远这次北伐京东行程之中，多次擅自任命官员，调动非他直系管辖的兵马，超出职权范围调用扬州、镇江府等地的府库军械粮秣，以资军用，又是一条重罪，顺便连高怀远的老爹高建也一起弹劾了！
第三就是告高怀远在大冶的时候，私铸兵器，豢养私兵，为祸地方！这件事起因是他们在大冶搜罗到了一个消息，说高怀远当年在这里购置矿坑，设置冶炉炼取铜铁，还雇请了一批人私铸兵器，甚至还搜罗到了一个因为劣迹而被赶出卧虎庄的一个人为证，想要通过这件事来给高怀远定罪。
其它的便是受贿，他们搜罗了不少以前给高怀远送过礼的人的罪证，说高怀远自从当上了殿前司都指挥使之后，便大肆在军中收受贿赂，排除异己，任用亲信，意图不轨。
再有就是高怀远凭借圣上的信任，骄横无度，欺压良善，强征土地充作军用，起因就是高怀远在临安郊外，设置操演校场，曾经以低价强征过几户为富不仁的地主的土地，现在找到了这几个大地主，联名一起状告高怀远。
总之罗列出来了总共八条高怀远的罪证，将高怀远说成了一个十恶不赦之徒，根本不足以在朝中担任要职，他们倒是也没有想将高怀远这就赶尽杀绝，只是要求赵昀将高怀远革职贬黜出京，削去他的兵权然后赶他到地方为官拉倒。
郑清之倒也不贪心，他虽然搜罗了高怀远这么多罪证，但是他也知道赵昀和高怀远的感情，心知不管他们如何陷害高怀远，让赵昀杀了高怀远是不可能的，所以他们也不贪多，只要求赵昀秉公处置，削去高怀远的兵权，革去他的枢密使之职足矣。
高怀远正是闻听了这个消息之后，才不得不立即轻车简从离开了济南府，朝着临安方向赶去。
像这样的情况，高怀远确实是有点出乎了预料，本来他这次北伐大获全胜，应该是他功成名就之时，没想到这边他的事情刚刚结束，郑清之便领着人朝他发难了。
不过同时他也不太感到意外，因为朝廷之中的政治、斗争从来都不会缺乏，每个人都有自己的想法，政治上也没有永远的朋友，当一个共同的敌人被放倒之后，很快许多人便会选择一个新的敌人竖立起来，当作他们的斗争对象，而他就成了史弥远之后，被人觊觎的一个敌人。
郑清之他们这么做不是没有一点道理，从韩侂胄开始，继而便是史弥远，南宋朝廷数十年之中始终是权相当权，虽然高怀远并非参知政事，不算是宰相，但是他更危险，因为他执掌着京畿之地的兵权，甚至可以说执掌了南宋大部分军队的调度权，而且他又和当今圣上赵昀的关系匪浅，郑清之他们不愿看着干倒一个史弥远之后，再站起来一个高怀远当权。
所以他们处心积虑的对高怀远攻讦，其实也并没有什么不对之处，而郑清之也是有这种能力的人，毕竟朝野之中现在要仰他鼻息的官员很多，他又是帝师，正好可以充当这个急先锋来对付高怀远。
其实说白了，郑清之只是代表了一群文官的想法，不愿意看到高怀远这个武将一系的人太过张扬罢了，他们的冲突只是迟早的事情，不过是比高怀远预料的要早了一些罢了。
正是因为高怀远没有预料到郑清之他们会这么快发难，所以这一次他显得很是被动，虽然有纪先成等人在朝中为他鸣冤，但是他还是必须要尽快返回临安，亲自处理这件事情，否则的话，很可能会造成他和赵昀之间的不和，对于以后他的计划发展将会大为不利。
所以高怀远一行人出了济南府之后，便一路不停的快马加鞭赶往了临安，虽然路上时不时会遇上少量阻扰，但是别看高怀远这百十余人，战斗力却是超强，遇上这样的散兵游勇的阻扰，他们只需一个冲锋，不管敌军是几十人，还是几百人，迅速的便被他们击溃，总之没人能挡得住他们的步伐，所以高怀远返回临安的速度非常快，一行人几乎是昼夜兼程的朝着临安方向急赶。
如此几天之后，高怀远便抵达了楚州城外，和前几天不同的是，高怀远这次没有选择绕城而过，而是带着亲卫入城休息了一天时间，在这里，高怀远见到了新任的京东制置使赵范。
此时赵范早已到了楚州，接管了楚州的地方事务，对于他来说，刚刚收复的楚州实在是一个大烂摊子，但是赵范却丝毫不感到这是块烫手的芋头，因为他深知，假如此生他想要有所作为的话，留在江南随便一个地方为官，都不可能再超越他的父亲赵方了，唯有治理好楚州乃至京东，才能使他彪炳于世。
而高怀远却恰恰给他提供了这么一个机会，赵范从小便跟着其父赵方在军中做事，内心十分想有一番超越父亲的作为，而且他因为身处官家，熟知为官之道，更是熟悉各种军民事务的处置，加上他这些年在各地为官的经验积累，到了楚州之后，处理起来地方事务可以说是得心应手，别看他到楚州时日尚且不长，但是这里的秩序和高怀远刚刚离开的时候，已经发生了天翻地覆的变化。
本来因为战火而凋敝的商业，在大批商贾涌入之后，街道两侧的铺面大多已经恢复了营业，而且城中居民也大批返回，使楚州城变得热闹了许多，就连因战火被损毁的那些城墙，在赵范的调度下，大批工匠日夜赶工，也已经渐渐的恢复了起来，使久经战火的楚州城，再一次焕发出了勃勃生机。
走在楚州城的大街上，高怀远对于眼前的景象颇为满意，连连点头给予称赞，陪同在他身边的赵范，不由得微微露出了一丝得意的笑容。
“看来举荐赵兄当是明智之举，也唯有赵兄到这里，才能使得京东之地尽快恢复繁荣了！能看到楚州城如此快的再次繁华起来，赵兄可谓是功不可没呀！”高怀远骑在马上，对赵范说道。
赵范倒是也没有太过自傲，而是谦恭的答道：“高大人谬赞了，假如不是你率军夺回此地，并且先期安抚地方的话，赵某此行到这里，恐怕就是有三头六臂，也难如此快的恢复楚州的繁华！假如说有功的话，也只能说是高大人居功至伟，赵某不过只是帮衬罢了！
下官另外还要多谢高大人的提拔，假如不是高大人和纪大人的举荐的话，下官恐怕现在还在黄州为官呢！又岂有机会到此做事呢？”
高怀远连忙推辞道：“赵兄不必谢我，我也乃是为国举才，以赵兄的本事，超出我高某不止百倍，假如只在黄州做一个小小的知州的话，岂不是实在太让赵兄屈才了吗？这也是众望所归，同时也是圣上的恩典才是！
想想假如当年不是恩府大人（赵方）对我多有照顾的话，我高怀远又何有今日呢？保不准早就被流放到不知道什么地方去了！现如今能和赵兄同殿称臣，高某也要谢谢恩府大人呀！”
因为赵方的关系，高怀远和赵范很是谈得来，而且赵范在有关京东的事情上的看法，多和高怀远如出一辙，所以两个人说话倒也不需要遮掩什么。
而这次赵范来这里为官，也确实秉承了高怀远的初衷，按照高怀远最初的设计，在淮东乃至京东各地，大力推行高怀远的既定政策，这让高怀远很是欣慰，觉得没有选错人。
二人携手进入了赵范的府邸之后，赵范在府中设宴款待高怀远，而高怀远也不再遵守戒酒令，敞开了和赵范痛饮了一场。
席间二人再一次交流了对于今后治理京东的诸多想法，赵范对于高怀远最初的设想可以说是赞口不绝，保证会将这些政策推行下去，并且加快运河的疏浚工作，尽快打通运河，使南方物资得以更加方便的北运。
最终二人还是将话题说到了当前朝廷上面，赵范于是便问高怀远为何如此急匆匆的要赶回朝中，毕竟京东刚刚稳定，许多事情高怀远现在离手有些仓促了一些。
