海瑞立即传书办到来：“查实富户乡官田产之进展如何，松江徐府田产确数究竟几何？”那书办竟一脸的尴尬，嗫嚅道：回大人，“所辖十府知府回复，应付诉状焦头烂额，灾民蜂拥，安置、筹粮、施粥疲于奔命，府内乡官多，工作量大，且细致繁冗，人手奇缺，尚无实数上报。”海瑞怒气冲冲，拍了下桌子，刚想发作，又按了下来，心想，各地知府所言，也是实情。静了片刻，又问：“衷贞吉衷知府那里情况如何？”衷知府也是这个意思，简直腾不出手来查实田产。
海瑞听后，叹了口气，挥了挥右手，令书办退下，继续写信，本想罗列徐阶占田详情，看来具体数字是无法提供了。深思熟虑之后，他回避了具体数字，在“田产之多令人骇异”之下，继写道：“若不退之过半，民风刁险可得而止之耶？区区欲存翁退产过半，为此公百年后得安静计也。”
海瑞以百姓代言人自居，却又抨击“民风刁险”，要徐阶“退产过半”，却是为了保护徐阶。
且不说李春芳、吴时来接获回信之后的摇头，那徐阶也是莫名其妙。海瑞究竟需老夫退多少？“退之过半”，全部是多少，“过半”又是多少？正是黑漆皮灯笼，莫名其妙。
海瑞既没有这么多时间，客观条件也不允许普查清楚应天十府乡官包括徐阶占田数，这就为传言的流播提供了条件，徐阶田六万亩、二十万亩，最高上升到四五十万亩。这传说流播了四百余年，以致后代论者随意取舍，莫衷一是。
六十七岁的徐阶，虽说苦不堪言，却还算沉得住气。他没有古人千金散尽的境界，倒也有自知之明。任凭流言起，稳坐钓鱼台。
徐阶究竟有田多少？海瑞不清楚，徐阶清楚。说到此处，不得不提一提徐阶给友人的两封书信。这两封书信，都写在海瑞离开应天府一年的时候。
一封是写给曹贞庵的：“至于家下田宅虽不敢言无，然也原无十万，郡县册籍俱在可考（查）。中间亲友所寄，自阶罢官，各见失势不足凭依……俱已收去。其明白置买者，除奉某某（指海瑞）教令退还原主及因田租无收（收不到田租）卖去已及三分之一。”说到此处不能不说江南田地的所谓投献。江南赋税沉重，农民苦不堪言，但士大夫家赋税可减免优惠，朝廷确定士大夫家不论家分几户，其中一户不仅赋税免交，连徭役也可免除。于是为逃避沉重的税收，有些办法的农户就把田地投献给乡官，把自己变成无田户，所投的田地仍由自己租种，每年向乡官交租，所交租的数量则低于国家征收的钱粮，投献的农户得益，而乡官之家也可获利，双方均有利可图。由此可见，松江乡官的田产有一部分是虚数。徐家也然，宗支繁多，姻亲中富户更多，一齐投献，徐府田产自然激增，但总数也不满十万亩。而徐阶致仕，优免消失，投献户见无利可图，这就如徐阶信中所说“俱已收去”。尽管“郡县册籍俱在可考”，但海大人不去查考，那也无法。
另一封信几乎写在同年，是写给潘恩的。潘恩，松江府上海县人，与徐阶同朝为官，官至刑部尚书，其子潘允端则曾任四川布政使（省长），其时潘允端正在上海县起造豫园，这豫园四百多年后仍为上海市著名的旅游胜地。得知徐阁老被退田风波弄得灰头土脸后，出于关心，就在海瑞走后，潘恩致书问候，当然也提及田产一事，徐阶复书潘恩道：“家下田亩，其载书册不过二万，册外又别无户，不知所谓四五十万者安顿何处？”又说：“当道诸公肯加查实，有无便立见矣。”这是对海瑞不加调查研究的含蓄批评。家人有多少呢？不是传说有数千人之多么？徐阶的回答是，富贵之家养有戏班，徐家连歌童也无；富贵之家养有门客，闲时陪主人消遣，有事帮主人出谋划策，徐家也没有。徐府家仆百人不到。
退田之时，徐阶退出及卖掉田亩三分之一，那是隆庆三四年的事，隆庆五年（公元1571年）官府记载有田两万亩，由此推算，徐府退田之前，田亩总数在三万上下。这是时过四百三十二年之后，有志于研究嘉隆政治的学者，在浩瀚的史籍中钩沉出来的真相。
退田的暴风骤雨，把致仕的首辅搞得声名狼藉，对世道人心，徐阶看得更透彻了。他想起了那个瘦拐拐的蓝真人蓝道行，并非文人，肚子里孔孟之道不多，却不忘当年扬州城郊自己赠与丸药和银两的点滴之恩，不惜杀身以报，尤觉难能可贵，真应着了一句谚语“仗义每从屠狗辈，负心皆为读书郎”也。徐阶便联系岳庙，请茸峰道长代为探听蓝道行的后人，终将蓝道行之孙从山东接来，安置在岳庙里边。心愿既了，徐阶便效法祖父，一心崇佛，刻印《劝世歌》，广为散发。
他在《劝世歌》里说：“奉告列位善信，念佛是第一好事。但念佛不要只是口念，须要心念。所谓心念者，是心心念念在佛。如佛说诸恶莫做，便一心一念不作恶业。佛说众善奉行，便一心一念修行善果。富贵的不去倚势凌侮那贫贱的，其贫贱的不去逞刁欺赖诳诈那富贵的……”结末是：“若全然不知念佛，果然必有冥祸。若只口里念佛，如俗所谓佛口蛇心，却也全无功德。”
一个在宦海沉浮四十多年的人，一个曾为一人之下万人之上的人，而今成了一老人，虽然满腹孔孟之书、阳明心学，不料想却成了崇佛的善信，着实令人伤感。
退田事未了，疏浚吴淞江的奏本已然允准。海瑞以应天十府之财力，自筹工程费用，不动分文国帑，朝廷焉有不准之理。
经过紧锣密鼓的准备，隆庆四年（公元1570年）正月初二，疏浚工程启动，征集来的二十余万民工，在吴兴、吴江、昆山、青浦、嘉定五县全长八十余里的吴淞江一字儿排开，以排山倒海之势清淤、挑泥、筑堤，嗨哟嗨哟的号子声响彻云霄。海大人亲临一线指挥，足迹遍布吴淞江全线，掐进度，查质量，没日没夜工作，熬红了眼睛。历时四十七天，到二月二十日，疏浚工程全面告成。一不做，二不休，海瑞调过头来，组织民工北开白茆河，到三月底，白茆河全线疏通。太湖之水，得以奔腾入海，倒塌民居，得以修补，灾民复归，补种蔬菜杂粮，只盼收获了。
应天府尤其是苏松两府百姓欢欣鼓舞。但是反对海瑞的声音也响起来了。
隆庆四年（公元1570年）春，刑部都给事中舒化，起而弹劾海瑞拘泥固执，不切实际，不通人情世故，不达政体，不适合处理地方事务，应该安排南京的清闲职务“养起来”。
隆庆帝没有采纳舒化的主张，首辅李春芳是个好好先生，拟旨让海瑞“抚地方如故”。一浪刚过，一浪又来，紧接着，给事中嘉兴籍的戴凤翔又奏了一本，论海瑞“不谙吏事”，“庇奸民，鱼肉缙绅，沽名乱政”。同时列举海瑞诸多不近人情的事例，两任妻子先后被休，七个月前，家中一妻一妾同时去世，疑似谋杀。修身齐家治国平天下，家也不齐，何能治国？
应天十府是国家赋税重地，大明嘉靖时，这十府的赋税占全国十三道（省）的二成半强，应天一乱，国家财政命脉受到威胁。此时高拱刚由张居正荐重返内阁兼掌吏部。高拱对海瑞并无好感。因为海瑞对自己的政敌徐阶草拟的两诏十分赞赏，此人官居大位，于己不利，就拟旨道：“看得都御史海瑞，自抚应天以来，裁省浮费，厘革宿弊，振肃吏事，矫正靡习，似有忏忏为国为民之意。但其求治过急，更张（政变）太骤，人情不无少拂（违背），既经言官论劾前因，若令仍旧视事（任应天巡抚）恐难展布（展开工作）。”就是说，不宜留任了。
海瑞气极，上书自辩，称戴所指责“无一事是臣本心，无一事是臣所行事迹”，纯属“诬妄”。还把一腔怒火，烧向朝中众大臣，怒斥“今举朝皆妇人也”。首辅李春芳自我调侃说：“满朝都是女流，那我不就成了老婆子了？”
自辩上奏，引来满朝文武的愤慨，大臣们联名弹劾，高拱拟旨批复称海瑞“词称请归（辞官），意甚快愤（泄愤），且固执偏见”，“御史官见其轻噪，连名纠劾，诚非过举”。
海瑞坐在府院正生闷气，吏部的文书已到，调海瑞南京粮储，即刻赴任。怒气冲天的海瑞疾书辞官。海瑞离开江苏时，沿路百姓欢送，但南京的官吏、乡绅，却以手加额，弹冠相庆。对海瑞的应天新政，后人津津乐道。海瑞罢官叫得响，种种传说不胫而走，离历史的真相愈行愈远，岂不可叹！
其实海瑞何曾被罢官？朝廷认定他“不谙吏事”，调任粮储，避开了复杂的人际关系，维护他来之不易的良好名声，也算是一种呵护。况且身为都察院右佥都御史的正四品大员，调任户部所属南京粮储，实乃平调，但海瑞倔劲上来，他“乞赐臣回籍，永终田里”。
海瑞在应天功不可没，整顿赋役弊端，推行一条鞭法，澄清吏治，疏浚吴淞江、白茆河，减轻百姓负担，这些政绩，可圈可点，然负面影响也颇深远。他审理土地所有权的案件，不做翔实的调查取证，仅按“与其屈小民，宁屈乡官”的思路行事，连买卖已过五年的田产也强判大户退还，难免不公，引起新的冤案。他勒令大户退还“占夺”之田，苏松常镇四府乡官众多，不加调查，以政令代替法律，致江南经济秩序缺失章法，引起动荡。水灾期间，他又下令佃户不准向东家交租，债务人不准向债权人还债；责令富户乡官留足口粮，余粮贷于饥民，以致饥民包围富户乡官，索贷粮食，刁钻者甚至借贷多家谋利，还指富户存留口粮为余粮，强行借贷。这些都成了朝中给事中们的弹劾口实。
排除异己高拱恩将仇报命悬一线徐阶墙倒众推
隆庆四年（公元1570年）三月，海瑞辞官，六十八岁的徐阶又恢复了平静的乡居生活。但他隐隐感到不安，徐阶知道，李春芳是不至于立马调海瑞为南京粮储的，这风风火火的手段，定是高拱的手笔。想到这儿，眼前浮现出高拱凡事都心急火燎的样子，想起高拱在内阁向自己兴师问罪的气势。徐阶所料不错，高拱从未忘记自己被逐，灰溜溜出京的耻辱，他要报这一箭之仇。
李春芳虽为首辅，但是个至诚之人，是个太平宰相。当年徐阶致仕，李春芳长叹道：“徐公致仕，我难以久留，致仕回乡是早晚之事。”可见李没有恋栈之意。眼下张居正推荐的高拱来了，事事越位争先，更何况内阁中张居正、陈以勤都是裕王府旧臣，隆庆帝信任有加。所谓“一朝天子一朝臣”，历来如此，所以李春芳去意更坚了。在此种情势下，高拱就大权独揽，为所欲为。
李春芳主政务求安静，“萧规曹随”，依遗诏、登极诏推行政令。高拱则全盘推翻徐阶的布局和拟定的政令。
先朝议礼得罪的大臣依遗诏予以起用、赠恤死者正推行中，高拱拦腰一刀，加以废止。他上疏隆庆帝说：先朝得罪的大臣，以大礼议为“多，而今褒奖、赠恤，显皇帝（隆庆之祖）在庙之灵难安，先帝（隆庆之父嘉靖）在天之灵难安，陛下每年入太庙祭拜，又何以面对？”隆庆帝听了，也以为然。于是数百得罪之臣，存者不复起用，死者不予赠恤。
徐阶为先帝扮英明，还群臣以公道，高拱则相反，坚持先帝之错，不恤群臣之冤。
紧接着，高拱出手第二招。
隆庆四年（公元1570年）十月，改议方士王金英等人的罪名。当年王金英等妄进丹药，致嘉靖帝服后病情加重，法司论子弑父律，论死在押。为陷害徐阶，高拱上疏称：“君王妄服丹药而死于非命，不得正终，名声甚为不美。先帝执政四十五载，享年六十有余，因病去世，应称善终。而今指系王金英等所害，诬蔑先帝不得善终，天下后世将如何评价先帝？”可见高拱的本意并非偏爱方士，而是中伤徐阶，徐阶陷先帝于不义，岂不应开刀问斩？
不过高拱此次出招，费了点周折。
时刑部尚书葛守礼，慑于高拱淫威，第一个妥协，奏称王金英妄进药物无事实，以子弑父律论死不妥，改论为左道惑众的从犯，予以轻判。
终究还是有敢于直言之人，给事中赵奋上奏，反驳刑部之说称：“法司是主持天下公平的部门，此前重判，不为先帝设想；今又轻判，不怕后世议论。罪有首从，说王金英等是从犯，谁是首犯？如此执法，法还能依赖吗？”
可是，隆庆帝轻信高拱，王金英等终被轻判。
隆庆帝点到为止，没有深究徐阶之罪，高拱企图落空。
高拱重返朝廷，全盘推翻徐阶政令和布局，不以天下为重，全为一己私念，为后世智者所不齿，夏燮称其为“两世罪人”，既是嘉靖帝的罪人，又是隆庆帝的罪人，淋漓痛快。
高拱权势显赫，并不把李春芳放在眼里，加之门生韩楫、宋之韩、程文、涂梦桂等人官居言路，日夜聚会，揣摩高拱心思，伺机攻击政敌，朝廷乱象丛生。御史汪文辉仗义执言，上疏言事，严斥“颠倒是非，荧惑圣听”的窥伺攻击，主张和衷共济，消除朋党勾结，恢复朝廷的淳厚风气。
尽管汪文辉也系自己门生，但高拱心知汪的奏疏在讥刺自己。高拱暴跳如雷，汪文辉上疏三天之后，高拱即将汪文辉逐出朝廷。高拱公然报复，速度奇快。
