郦琼厉声道：“朝廷如此糊涂，只听信奸人的谗言，我还留做什么呢？你们如果不想死，就随我投奔齐王去！”
张璟呵斥他说：“你想造反吗！”
郦琼笑着说道：“什么是造反？良禽择木而栖，贤臣择主而事。识时务者为俊杰。”
这时兵马钤辖乔仲福、统制官刘永衡等人齐声说道：“乱臣贼子人人得而诛之，我们岂能让你张狂呢！”
话刚说完，郦琼拔出剑来，指挥手下军士来杀乔仲福等人，张璟和乔仲福等人也拔剑在手。双方一阵混战，张璟数人毕竟寡不敌众，尽数被杀。
郦琼率领领着四万多人的军队，挟持着吕祉向北投奔刘豫去了。到了三塔，距淮河仅30里，吕祉下马不走了，他说道：“刘豫是叛国之贼，我怎么能见他！”
众人逼迫吕祉上马，吕祉哪里肯依，说道：“我要是死，就死在这里。”
郦琼没想置吕祉于死地，然而吕祉又大声呼喊：“刘豫是叛逆之臣，众所周知，你们当中怎么能没有英雄呢，怎么可以追随他去做叛国之贼呢？”这番话确实打动了不少人，有一千多人也不肯向前走了。
郦琼怕吕祉继续动摇军心，拔剑刺死了吕祉。众人无奈，只有跟随着渡过了淮河，投奔刘豫去了。
郦琼率大军投奔刘豫，使朝廷内外深受震动。而张浚现在才后悔没有听信岳飞的话，以致发生这种变动，于是他打算引咎辞职。
高宗问他说：“那谁能担当你这职位呢？秦桧能够继任吗？”
张浚答道：“臣以前以为秦桧是不可多得的治世人才，最近与他共事，才知道他不能担当重任。”
高宗又问：“我想再度起用赵鼎怎么样？”
张浚拜倒说：“陛下英明。”
高宗立刻下诏任命赵鼎为尚书左仆射兼枢密使，任命张浚为观文殿学士，提举江州太平兴国宫，撤除了都督府。
秦桧本以为张浚必定会荐举自己继任，没成想却是事与愿违，张浚并非没有荐举，而且还加以阻拦，内心极为愤怒，就私下唆使言官交覃弹劾张浚。
高宗本就是个无恩寡义的人，听了言官的劾奏，又被这些谗言迷惑，就打算让张浚去边远州郡守备。
赵鼎劝阻说道：“张浚的老母亲年纪大了，而且张浚还有救驾的功劳。”
高宗不高兴地说道：“功与罪怎么能相提并论呢？朕知道，有功当赏，有罪当罚。”
高宗没有听从赵鼎的劝告，下旨贬谪张浚去了岭南。赵鼎拿着圣旨不下殿，并约了同僚共同奏请高宗不要将张浚贬谪，高宗还是不肯。
赵鼎冒死进谏，其他大臣也替张浚说情，高宗只好将张浚降职为秘书少监，居住永州（现湖南永州）。
秦桧听说张浚因为赵鼎他们的劝阻而没有被贬谪，心里悻悻不乐，决定要找机会出了这口恶气。
汉奸的下场
岳飞自从在都督府受了张浚的误解与枉屈，立刻奏请朝廷解除兵权，打算守在逝去的母亲墓前守孝，朝廷一再不准，岳飞一再恳辞。后来，高宗知道事情的原委之后，好心劝慰岳飞，让他返回军营。
郦琼全军投敌，这对宋朝来说是一次不小的打击。但高宗不想越河攻打，只想保住现在的地盘，然而苦思冥想，不知道该怎么办。最后高宗想起岳飞与郦琼是同乡，或许可以将他劝服，就诏令岳飞说服郦琼，如果能全军归还，就不咎既往，还要优授官爵，而且他的田产也会派人妥善管理。
岳飞对郦琼很熟，他原是草莽出身，后被刘光世招降，虽然有一身武功，但是为人反复无常，而且他投降伪齐，伪齐授他静难军节度使的官职，赏赐丰厚。他怎么能接受朝廷的空口承诺呢？为今之计，招归郦琼并不要紧，如果能趁机讨灭伪刘，却是个很不错的计策。岳飞奏请朝廷全军进驻淮西，平时可保卫都城，一旦有情况，就可立即迎击，将之摧毁。但朝廷却以上游重要为理由，让岳飞只驻军江州，以便做淮浙两地的支援。
高宗虽然不允岳飞进讨伪齐，却让他招谕伪齐亲党及官吏过来投奔，赏赐优厚。岳飞奉诏，立刻写了一个檄文交给伪齐。岳飞所作的檄文，慷慨激昂，掷地有声，他号召亲党过来叛降。檄文是这么写的：
徜能开门纳款，肉袒迎降，或愿倒戈以前驱，或列壶浆而在道，自应悉仍旧贯，不改职业，尽除戎索，咸用汉条。如执迷不悟，甘为叛人，嗾桀犬以吠尧，詈猎师而哭虎，谨当躬行天伐，玉石俱焚，祸并宗亲，辱及父祖，挂今日之逆党，遗千载之恶名，顺逆两途，蚤宜择处，兵戈既逼，虽悔何追！
这个檄文传到伪齐，朝廷上下皆为震动，而刘豫更是惊恐。此时刘豫请求金朝立刘鳞为太子，金朝皇帝批示立太子的事情等商议之后再说。刘豫知道金朝皇帝对自己的“国家”完全置之不理了，只能盼望粘罕能在金朝皇帝面前美言。等到粘罕病死了，刘豫感到前途一片黯淡，心想，如今的回生之道，只有南侵打一场胜仗，因此就不断派使者请求金朝皇帝派兵联合入侵宋朝。
金朝皇帝也就将计就计，在太原建立元帅府，将刘豫军队完全纳入编制。另派束拔为左都监，屯兵太原；挞不野为右都监，屯兵河间，还在于陈、蔡、汝、毫、颖、许诸州郡派军驻扎。
岳飞获得情报，觉得这是废刘豫的最佳时机；如果没有废掉他，也可以使双方发生猜忌。刘豫原本是得到挞懒与粘罕的帮助才拥有目前的势力的，而金兀术与粘罕不和。如今要废除刘豫，主要目标就是金兀术。
绍兴七年十月，有情报说，金兀术与刘豫分兵自清河（今江苏淮阴）南侵。高宗命令岳飞严加戒备。
不久，巡逻军士逮到一名金兀术派遣的间谍。岳飞得到消息后，欣喜地说道：“这次能够完成我的计划了。”
岳飞假装喝醉酒，金朝的间谍被带进来，守卫禀报说：“已经被确证为金方的间谍，依律当斩。”
岳飞醉眼朦胧地注视这间谍很久，才说道：“你不是张斌吗？”
这个间谍一心只求活命，便假装答应了。
岳飞将间谍进入私室，责备地说道：“以前我派你带着蜡书去见齐帝，约他设法诱致金兀术，将他除去，而你却一去不返。刚又派人去问齐帝，回复说：今年冬天以会合入侵宋朝为名，已将金兀术引到清河，而且还回书让你带回来。你所带来的回书呢？”
这个间谍只好含含糊糊地混了过去。
岳飞也不再问，只重修书一封，述明与齐共谋诛杀金兀术的事，其中提到八月间边境交锋，为使金兀术不会起疑，曾假装全力相击，料想金兀术必坠入谷中，因此江上之约必可成功，事成后，宋与齐当永为兄弟之国，共同抗金。然后把书信制成蜡丸，交给这个间谍，并警告他道：“上次你没能完成任务，本该处死，念你是齐帝亲信，就先记下。这次你带着这封书，问齐帝举兵的明确日期。可不要误了大事！”说完，又叫黄机密给他赏赐，再三叮咛，千万不可泄露了机密。
这个间谍只求保命，生怕岳飞酒醒，认出他不是张斌，必遭杀身之祸，就连连应声，匆忙离去。
间谍刚脱身离开宋营，暗自庆幸岳飞这次喝醉酒，否则必难活命。他一路急奔，来到金兀术营中，把蜡书呈上。
金兀术用刀剖开蜡书，读完大惊失色，即刻转回京城，奏明金朝皇帝，终止清河军事，并有废黜刘豫的意思。
此时正好尚书省也上了奏章说刘豫庸碌无能，治国无方，河南百姓无不怨声载道。金朝皇帝废黜刘豫之意已决，但害怕突然宣布会引起反抗，就派金兀术与挞懒率师南下，假装南侵，然后突然袭击汴京，将刘豫擒伏。
金兀术等将领进军武城（今山东武城县），由哈迷蚩前往，让守城的刘麟过河议事。因为刘鳞握有兵权，如果不把他拿下，在突袭时必有一番激战。所以由军师哈迷蚩亲往召唤，到时可以随机应变。
刘鳞见军师亲自前往，认为是金兀术的特别礼遇，就只带了200名亲兵，欣然前往。
到了武城，金兀术已列队在城外相侯。刘麟受宠若惊，慌忙滚下马来。谁知道金兀术却突然指挥士兵把刘麟和他的200名亲兵团团围住。刘麟还没来得及挣扎，金朝的士兵个个如虎似狼，倾刻间便都把他们捆了个结结实实。
刘麟说自己无罪。金兀术冷笑说道：“你父亲私通岳飞，怎么能说无罪！”
刘麟叫屈：“我父子对大金皇帝忠心，却说私通岳飞，又有什么凭证？”
金兀术说道：“等见了刘豫，自然会叫你父子死而无怨！”就令士兵分别把刘麟和他的亲兵绑在马上，赶往汴京。
抵达汴京，由挞懒率兵暂时屯扎在东华门外，金兀术则带领三名骁将去见刘豫。当时，刘豫正在讲武功和射击，就派人叫他出来。
刘豫见金兀术突然来到汴京，心中难免狐疑，却未想及会对自己不利，匆匆走出讲武殿。
金兀术上前一步，紧紧抓住刘豫双手，一起走到宣德门，那里早已备妥一匹瘦弱的老马，强迫刘豫坐上，由士兵左右扶持，抵达金明池，将他软禁起来。
第二天清晨，金兀术集合伪官，宣读金朝皇帝的诏书，废刘豫为蜀王，并用所带的士兵把刘豫所居伪宫团团围住，然后宣布在汴京成立行台尚书省，由张孝纯暂时担任行台左丞相，胡沙虎为汴京留守，李俦为副留守。所有伪齐士兵，一概解散返乡为农。一时汴京城内，谣言四起，人心惶惶。
哈迷蚩建议金兀术迅速安定民心，金兀术就找人散布消息说，少帝（钦宗）已回到汴京，城内百姓奔走相告，欣喜之情难以表达，民心也逐渐安定。
刘豫突然听到自己被废，犹同五雷轰顶，忙跪地哀求金朝两帅设法挽回成命。
挞懒斥责他说：“当年赵氏少帝（指钦宗）出京，百姓沿街哭泣。现在你被废，却没有一个人怜悯。你还不应该好好反省自责吗？”刘豫顿时说不出话来。
年底，挞懒等人打算带着刘豫北归，问他想住在哪里。
刘豫表示，如果能准许住在相州的魏王宅邸，就足够了。“这很好办。”挞懒虽然是这么答应了，但到了相州却未停留，立刻继续北上到燕山府，然后经中京（故址在今热河平泉县东北），抵达上京（今热河巴林东北之波罗城），一起住进城内的夫子庙里面。上京原本是辽国的都城，金兵攻破了上京，将上京官民屠戮，上京几乎成了一座空城。其后陆续把罪犯往这边迁徙，后来就被人认为是座罪人城。
刘豫后来被金朝皇帝改封为曹王，在伪位上一共当了八年两个月的伪皇帝。废黜后他还是被封为伪王，但行动受到限制，形同于阶下囚，只能坐以待毙，这就是汉奸的下场。
