岳飞在韩世忠的问题上秉公尽义，因此更得罪了秦桧，也得罪了赵构。七月间，岳飞从楚州回到临安。十六日，秦桧唆使右谏议大夫万俟呙首先发难，上书指责岳飞“爵高禄厚，志满意得，日渐颓惰”。具体“罪状”有二：一是柘皋之战，违反诏旨，不及时发兵，很久才到蕲、舒；二是扬言楚州不可守，沮丧士气，动摇民心。万俟呙请求罢免岳飞的枢密副使。赵构亲自出场配合，首肯万俟呙的话，说：“岳飞公然声称楚州不可守，修城有什么用，这是因为将士久戍楚州而感到厌烦，想弃城而到别处去，岳飞的用意是附合下级以钓声誉，所以说出这种话来，叫朕去依靠谁！”秦桧乘机推波助澜，说：“岳飞的话说到这个地步，而朝廷内外有的人还不知道。”接着，御史中丞何铸、殿中侍御史罗汝楫也交章弹劾岳飞，大意跟万俟呙所说相同，请求赵构“速赐处分”。岳飞立即连上三奏，要求辞职。八月九日，赵构罢免岳飞枢密副使之职，改任万寿观使的闲职。
岳飞居闲后，既无兵，又无权，但是，赵构和秦桧对岳飞的迫害并不到此止步。他们觉得岳飞虽已罢官，但他的爱将王贵和张宪仍分别担任岳家军的都统制和副都统制；同时，英勇善战的岳家军依旧存在。这些都使他们不能放心。因此，他们又施展一系列阴谋诡计，以达到杀害岳飞和解散岳家军的目的。
还在六月间，赵构和秦桧就已派林大声为湖、广总领官，不仅总管岳家军粮饷，还有权统率各军。林大声到鄂州后，想方设法收集岳飞的材料，网罗败类，企图使岳飞的部将们互相攻击，然后牵连岳飞父子。岳飞手下有一个叫王俊的前军副统制，屡次因奸贪而受到张宪的处罚，对张宪怀恨在心。林大声觅到王俊，如获至宝，便向王俊暗示了秦桧的意图。王俊受宠若惊，觉得这是难得的升官发财的好机会，还可乘机报复张宪。
林大声和王俊经过精心策划，由王俊出面诬告说，张宪曾对王俊谈及，为岳飞罢官，准备裹胁大军由鄂州移屯襄阳，逼迫朝廷释放岳飞，并把兵权交还给岳飞。如朝廷派兵来剿，则请番兵帮助。王俊的状词破绽很多，最明显的是张宪和王俊原来关系并不融洽，王俊又是尽人皆知、专事告密的无耻之徒，张宪决不会跟他推心置腹地商议这种大事。
张宪原准备去临安朝见赵构。等张宪经过镇江时，王俊的诬告状已送到了张俊手中。张俊立即在镇江将张宪拘押起来。根据宋朝的法制，枢密院无权审讯犯人，但张俊求功心切，不等将张宪解往临安，就在行府私设刑堂。张俊使用种种毒刑，把张宪打得体无完肤，企图逼迫张宪承认收到过岳飞的亲笔信，信上命令张宪设法使朝廷将兵权归还岳飞。并把王俊叫来当堂对证，但张宪宁死不屈，不肯诬认。张俊见动刑和对证都不能使张宪屈服，便假造供词，上奏说：张宪已供认“在收到岳飞文字后谋反”。
按照事先的策划，不论指使王俊诬告，或者胁迫王贵，拷打张宪，无非是为了顺藤摸瓜，以牵连岳飞父子。十月十三日，赵构传下“圣旨”，命令在刑部大理寺设立制勘院，以审理此案，然后“闻奏”。于是岳飞和岳云都被逮捕，押送到大理寺狱之中。与此同时，朝廷还出榜公布，说张宪一案“其谋牵连岳飞，遂逮捕归案，设诏狱审问”。此案由赵构亲自审理，可见关系重大。
岳飞被投入牢狱后，由御史中丞何铸、大理卿周三畏共同审讯。何铸原来附和秦桧，曾参预弹劾岳飞。审讯时，何铸传岳飞到庭，要岳飞交待“谋反”的罪行。岳飞撕开衣服，袒露背部，叫何铸看他背上刺着的“尽忠报国”四个大字。这几个字深深透入肌肤，是他老母姚氏早年亲手刺上的。何铸不禁深受感动。在继续审讯时，何铸逐步发现王俊的状词、张俊的奏章等都是无实据的诬陷之词，说明岳飞蒙受了不白之冤。他把这一看法禀告秦桧。秦桧听罢，大为不满，便向何铸透露，这次逮捕和审讯岳飞不是他秦桧的主意，而是“圣上的意思”。何铸不听，仍然据理力争，说：“我何铸岂止是为了一个岳飞！强敌未灭，无故杀一名大将，会失去士卒的信心，不是社稷长久之计！”秦桧无言以对，愤愤而去。
何铸为岳飞鸣冤，审讯工作自然毫无进展。赵构和秦桧就用别的名义，将何铸调离御史台，不久后又将他贬官。十一月二十一日，改由万俟呙、罗汝楫、周三畏等人重新审理岳飞这一案子。
万俟呙以前任湖北提点刑狱时，岳飞宣抚荆湖，曾对万俟呙很不客气，万俟呙一直耿耿于怀。这次，万俟呙主动要求负责审讯岳飞，显然不怀好意。岳飞和张宪第一次受审，被带到堂上，蓬头赤脚，浑身血染，戴着沉重的枷锁镣铐。万俟呙等人向岳飞大声呵斥道：“国家哪里亏待你们，你们二人却要谋反？”岳飞理直气壮地说：“对天起誓！我绝对不辜负国家。你们既然主持国法，就不该损陷忠臣。否则，我到冥府也要与你们对质到底！”万俟呙又追问岳飞说：“你既然不想谋反，你记不记得游天竺寺时，在壁上题有‘寒门富贵在何时’一句，这是什么用意？”罗汝楫等陪审官员一齐随声附和说：“你既然写这些东西，岂不表明想造反吗？”岳飞看到这些审讯官员无一不是秦桧的党羽，跟他们讲道理还有什么用处呢？不禁长叹一声说：“我现在才知道已落入国贼秦桧手里，使我为国尽忠之心都白费了！”说罢，闭上眼睛，再也不说一句话，任凭狱卒去拷打。
在以后的许多次审讯中，岳飞屡经酷刑的折磨，但始终以坚强的意志、非凡的毅力，忍受肉体上的极大痛苦，拒绝回答万俟呙们提出的任何问题，拒绝承认王俊、张俊等人捏造的“罪状”。为了表示抗议，岳飞开始绝食。连续好几天，岳飞一口粥也不吃。他终于病倒了。
秦桧、万俟呙还继续派他们的党羽搜检岳飞的文书档案，又派党羽分头到各地去罗致别的“罪证”。他们说，在当年淮西战役中，岳飞故意藐视同朝大将，而且是想残害友军。又说，岳飞有一次召集诸将开会，他忽然扬言：“国家今天的景况不得了啊，官家（指赵构）又不修德！”这是“指斥乘舆”，即攻击皇帝。他们还说，几年前，岳飞第一次作节度使时，曾经高兴地向别人夸耀说：“我三十二岁建节，自古少有。”而在这个年纪做节度使的，只有开国皇帝宋太祖。这是与太祖皇帝相提并论，显然怀有不测的野心。此外还编造说：岳飞罢兵权后，曾经命幕僚孙革写信给张宪，叫张宪“采取措施，另行筹画”，又指使张宪谎报金兀术大军侵犯襄、汉一带，以便占据襄阳作乱。万俟呙等人还捏造了岳云的一些罪名，说他写信给张宪，要张宪想法把岳飞弄回军中来，并说这封信已经焚毁。
在这样的“罪状明白”以后，万俟呙决定立即结案定罪。按照宋律，应该召集此案审讯官和刑部、大理寺官员一起集议。大理寺丞李若朴、何彦由提出，岳飞的罪依法只可判处两年徒刑，不应判死刑。万俟卤等人置之不理，仍然决定岳飞、岳云、张宪三人犯下了“私罪”，应该判处岳飞斩刑、张宪绞刑、岳云徒刑，并将所定罪名奏报朝廷，请赵构最后“裁断”。
正当秦桧、万俟卤等人迫害岳飞的时候，朝廷内外许多主持正义的官员展开子营救岳飞的活动。一个宗室首领力辩岳飞无罪，他说：“中原未宁，祸及忠义，这是忘记二圣，不想恢复中原了。臣愿意以全家百口，担保岳飞没有罪。”福建布衣范澄之上书指出，全国百姓不知道岳飞因犯何罪而被逮系诏狱，但又怕指责为造谣惑众，所以都不敢说话。宰辅大臣献媚虏人，急于求和。陛下正下定决心恢复祖宗大业，岂可叫将帅们互相屠杀！希望陛下特予赦宥，释放岳飞。抗金名将韩世忠不顾个人的安危，亲自责问秦桧，秦桧含糊其词地回答说：“岳飞子岳云写给张宪书虽然不清楚，但是这件事莫须有（也许有）……”韩世忠听了，义愤填膺，说道：“相公，‘莫须有’三字，何以服天下？”从此，“莫须有”成为冤狱的代名词，后代还称冤狱为“三字狱”。在赵构和秦桧一伙操纵下，爱国的官员和士大夫的营救活动都成为徒劳。
岳飞被捕入狱后，赵构、秦桧一伙加紧向金朝投降。十月，赵构派吏部侍郎魏良臣等出使金朝，在兀术面前再三叩头，哀求甚切，兀术才准议和。十一月，宋、金和谈成功，金朝规定宋朝投降的条款为：划定两国的国界，东从淮水、西到陕西大散关以北的土地全部归金朝所有，宋在京西割唐、邓二州，陕西割商、秦二州之半给金；仍向金称臣，每年奉送金朝银子二十五万两和绢帛二十五万匹。
赵构和秦桧一伙屈膝投降后，又按照金朝统治者的意旨，决定对岳飞下毒手，置岳飞于死地。
绍兴十一年冬，岳飞经过许多天的绝食，身体已经极度衰弱。赵构审批尚书省转呈的刑部大理寺奏状，当即下旨：“岳飞特赐死。张宪、岳云并依军法施行，命杨沂中监斩，仍多差将兵防护。”刑部大理寺原来议定不杀岳云，但赵构和秦桧一伙连岳云也不肯放过。
当天，大理寺执法官遵旨进入狱中，作最后的处决。他们再次提审岳飞，逼他在供状上画押。岳飞知道已经到了生命的最后时刻，他仍然坚持自己抗金爱国无罪，决不乞求开恩赦免。不过，他觉得如果老天有眼，一定会证明自己的一生光明磊落，无辜被害，于是他镇定自若地取过笔来，在供状，上写了八个大字：“天日昭昭，天日昭昭！”狱吏拿来毒药，放入酒中，岳飞一饮而尽。张宪、岳云同时也被押赴刑场。三位民族英雄就这样没有战死在抗敌的疆场上，却惨死在妥协投降派的毒刑下。这时，岳飞仅三十九岁，岳云二十三岁。
岳飞等三人被害的同时，岳飞和张宪的家属也受到株连，按照赵构的“圣旨”，被分别押解到广东、福建拘管，家产被查抄，没收入官。岳飞的许多部将都卓有战功，这时都被作为岳飞的同案犯，根据赵构的“圣旨”，被判处流放、监管、杖脊等刑罚。一些曾为岳飞鸣冤的官员也都受到牵连，被贬官或罢官，不一而足。岳家军由张俊的心腹田师中接管，牛皋被毒死，很多将领被田师中用各种名义驱逐。至此，岳家军实际上已被瓦解。
岳飞被害后，不断有人为岳飞喊冤。二十年后，赵构才下诏释放岳飞和张宪的家属，准许他们随意定居。直到宋孝宗即位后，为了平息民愤、鼓励将士抗敌，才正式昭雪岳飞的冤狱，追复他原有的官职，并将他的遗体依礼改葬。后来，在鄂州替岳飞盖造“忠烈庙”，表示纪念，迫封鄂王。宋理宗对岳飞改谥“忠武”。至此，岳飞终于恢复了他的抗金名将的名誉，受到后世的景仰。岳飞一生英勇抗金，体现了高度的爱国主义情操，这已成为中华民族精神财富的重要组成部分。
