正在北京的张作霖准备撤离，退回东三省。日本人决定在这时候下手，暗杀张作霖。否则一旦让他回到东北，凭借他在东北多年打下的根基，想要动他就更难了。对此张作霖是有所觉察的，他不断更改出关日期，不断对外发布离京回奉的消息，然而他还是没能逃过日本人的暗算。
1928年6月3日晚，张作霖所乘专列回东北，专列到达皇姑屯站（这是一个京奉路与南满路交叉的火车站），日本特务提前安置在这里的炸药引爆了，张作霖的专列被炸弹炸得粉碎，张作霖本人伤重身亡！
日本欺人太甚，东北三省军民联合起来举行了声势浩大的反日大游行。
少帅张学良接过父亲的旗帜，掌握了东北三省全部军政大权。1928年12月底，张学良通电服从国民政府，正式易帜。南京政府明令张学良为东北边防司令长官。至此，北洋军阀中的最后一大派系——奉系从历史的舞台上退出了。中国进入以蒋介石为代表的新军阀统治时期。
张作霖死之前，段祺瑞就已经看出了迹象，于是他趁日本人准备抛弃张作霖之机，向日本人提出由自己取代张作霖来组建临时政府。但日本当时并没有十足的把握能扳倒张作霖，因此对段祺瑞的要求没有答应。
段祺瑞继续等待时机。
“九·一八”事变发生后，蒋介石的不抵抗政策遭到全国人民的唾弃，各阶层一致要求停止内战，抗日救亡，对蒋介石本人的不满也开始在全国蔓延。于是那些北洋旧军阀们又看到了翻身的曙光，不管以前他们是皖系、直系还是奉系，现在他们只有一个敌人：蒋介石。
1932年11月，北洋派旧军人在土肥原的策划下，在济南举行会议，联合拥戴段祺瑞、吴佩孚合作反蒋。然而眼看全新的局面即将开创，北洋系内部的矛盾再次使这一计划胎死腹中。
事情的起因颇有些滑稽！因为矛盾的焦点，竟然又是安福系。
安福系的确是臭名昭著，北洋内部除了段祺瑞的皖系能容纳他们，其他派系对安福系和其中的主要活动分子都极为讨厌，像韩复榘就表示拥护段祺瑞没有一点问题，但绝对不能用原安福系任何一人，否则他宁可退出，也不愿意看到安福系的嘴脸。段祺瑞不能不顾及这些人的意见，便表示自己今后绝不再用安福系的人，而改派自己的长子段宏业代表自己与日本人往来接洽。
然而，安福系之所以如此臭不可闻，就因为他们是天上地下独一无二、脸皮之厚世上无双的安福系，而不是别的什么人。他们有一样最为独特的武器——无耻！
成也萧何，败也萧何。当年段祺瑞依靠他们控制了整个北京政府，今天老段同样要栽在他们身上。天下没有不透风的墙，段祺瑞将在沈阳组织政府的消息不知怎么还是泄露了，安福系两位重要人物王揖唐、姚震得知后，恼羞成怒。好啊，有好事不找我，你们关起门来吃独食，想都别想！
姚震马上行动起来，他直接跑去找土肥原说，他不反对段祺瑞出山，但坚决反对他们瞒着他干这件事。并且对土肥原扬言： “你们干什么事我都不反对，但是要撇下我单干我是不会答应的。我成事不足，败事还是有余的。”他倒是雷厉风行，说到做到。不久，天津《大公报》就刊载了独家消息披露了这一计划，并开炮猛攻段宏业，说他祸国殃民、投敌卖国。
得知原委后，段祺瑞气得跳起三尺高，鼻子又一次气歪了。但是此时无职无权的他，拿这几位活宝也是毫无办法。
日本人也突然转变了态度。“九·一八”事变后，段祺瑞曾经公开谈到他对东北事变的看法，说日本人是强盗，但是现在这个强盗已经登堂入室进来了，他们不一定会将东北拿走。我们可以给他一些好处，先把土地拿回来再说。这让日本人觉得，段祺瑞不过是在临时利用他们，一旦时机成熟，很可能就是双方反目的时候。段祺瑞靠不住，还有谁能合作？最后他们想到了溥仪。于是最终形成了日本拉溥仪组织东三省傀儡政权伪满洲国的局面。
利用日本重登大位的希望告吹，再也没有别的路可走了，这时候又冒出个陈炯明来。陈炯明在1923年初被滇桂军阀杨希闵和刘震寰联手驱逐出广州，1925年宣布下野。这次，他派人联络津沪各下野的军政人员，以抗日为由号召进行反蒋，他希望段祺瑞出来支持他，但段祺瑞经过不断的策划失败，对政治的热情渐渐减弱，他表示自己年纪越来越大，没有什么精力了。最好让陈炯明速来主持，自己可以尽全力支持他。陈炯明的一番运动，又煽起了一些下野政客和军阀们不甘寂寞的心，消失已久的孙传芳、张宗昌都表示，欢迎陈炯明来天津与段祺瑞合作，共同反蒋。段祺瑞指派侄儿段宏纲和王揖唐专门到上海去见陈炯明，商量将旗号由“抗日倒蒋”改为“联日倒蒋”。因为此时日本已经在图谋分裂华北，希望段祺瑞出来搞一个华北政府。陈炯明欣然同意，随即北上，与段祺瑞合作。
眼看这件事即将成功，却再一次毁在了自己人手上！上一次是姚震，这一次又是谁？答日：王揖唐是也。
王揖唐、段宏纲虽然走到一起来了，可是他们跟曾毓隽完全不对付，就像两股道上跑的马车，南辕北辙。段祺瑞明确表示了华北政府要由陈炯明来主持，而陈炯明与曾毓隽是多年的交情，陈炯明能与段祺瑞联系上，也是靠曾毓隽的关系。所以陈炯明上台必重用曾毓隽，而王揖唐、段宏纲对此绝对不满意。既然没我什么事，那就对不起了，你想成，我就让你败。于是他们效仿姚震，故技重施，将这一天大的秘密泄露给了媒体，一时间引起轩然大波。阴谋变成阳谋，秘密搞成了新闻发布会，这戏还怎么唱下去？
这一幕幕真好像小孩子过家家，什么国家利益、民族前途，我的眼里只有我！
南下
留在天津的段祺瑞是一个威胁！这是蒋介石的判断。南京国民政府早就注意到日本特务对段祺瑞、溥仪、吴佩孚等人的拉拢利用。伪满洲国成立后，日本的侵华步伐加快了，华北的局势也已经危在旦夕。
1932年4月，国民党政府在洛阳召集“国难会议”，段祺瑞、吴佩孚是蒋介石指定的国难会议议员，但两人都没有出席会议。很快，段祺瑞与陈炯明联合反蒋的消息就传来了，国民党方面紧急行动起来，蒋介石看段祺瑞留在天津很有被日本人利用的危险，便提出将段祺瑞等一干下野的北洋元老们全部接到南边去，以防日本人利用他们的资历与威望，再在北方搞什么傀儡政府。
蒋介石积极调动各方面力量争取段祺瑞，他让上海市商会主席王晓籁致电段祺瑞，要他认清日本人所用的“以华灭华”之计，先得东三省，再谋华北。王晓籁还希望段祺瑞能以文天祥为榜样，粉碎日本人的阴谋。段祺瑞接到这样一个电文后，当即回电，明确表达了自己的心意：对东北事变痛心，自己虽然是下野之人，但爱国心仍在，绝对不愿意被日本人利用作为侵略中国的工具。
段祺瑞的态度出现了转变，是因为他终于意识到，日本人根本不是他想象中的只是来捞点好处就走，看到日军攻破榆关，又攻热河，他就知道日本野心显然在于变全中国为殖民地。日本外务省次官吉田茂到天津找到著名的亲日派曹汝霖，要他请段祺瑞出面，沟通中国军方，先商量两军就地停战之事。段祺瑞明确表态： “我们在野之人，出来调停，说话要有根据，当局若问到东三省，我如何答复？就地停战未免想得太简单了吧。你们应该先退回东北，再来商量就地停战的事情。现在中国军队气焰之高，不亚于关东军，即使停战也应该日本先停，因为是日本先开战的。”
段祺瑞的态度明确了，国民政府派特使带着蒋介石的亲笔信，乘专列前往天津，请段祺瑞南下。蒋介石知道段祺瑞的为人，料到他家境不如意，同时让特使钱新之给段祺瑞带去了5万元作为生活费和搬家费。吴光新与段宏业有了不同意见，段宏业反对南下，段祺瑞考虑再三，说：“现在华北的局势非常复杂，我看还是先离开这里比较好。”一锤定音！
当天，段祺瑞在吴光新、魏宗瀚等人陪同下乘专车南下，长子段宏业因为反对南下，没有跟他们一起去。
第二天上午9点，专车到达济南，前来迎接他的有各路记者，他就在车站发表了一番讲话，大意是说蒋介石多次想来北方与他会面没有成功，最近又派人来邀请我南下，说要跟我共商时局，所以我不能不给面子。这番话倒是给足了他自己面子。
稍事休息，第三天上午8点，段祺瑞所乘专车抵达南京浦口。当时国民政府组织了一个盛大的欢迎队伍，军政要员们从南京过江到浦口车站迎接。段祺瑞下了火车就登上早就准备好的渡轮，早就等候在这里的蒋介石率先登船拜见。两人见面，好一阵寒暄，段祺瑞对蒋介石表示即日要到中山陵谒陵。
