曹、吴两人虽有浑厚与精悍之分，亦颇有相似之处：曹在保定有光园，吴在洛阳亦有光楼；曹在开封画梅，吴在四川画竹。十五年（1926年）吴退出武汉时，曹南下到郑州与吴相见（是年九月二十七日）。其时吴以京汉路车站为司令部，人多屋窄，请曹移居开封，曹是老大的不愿意。一则两人各都经过一场患难之后不愿相离，二则曹素不喜寇英杰之为人，不愿与之朝夕共处。但愿否是另一问题，吴的话曹是百依百顺成了惯例的，只好忍着一肚皮闷气到开封来，下榻龙亭，以画梅自遣，自号为“乐寿老人”。他一面画梅一面向访问者絮絮地说：“玉帅不能离开我，和我不能离开他一样。他离开了我，许多事他准办不了。”此言似平常而确有见地：曹浑厚不遭人忌，吴则恃才傲物，二人宽猛相济，过去成就了直系鼎盛一时的局面，单是一人是干不了那番事业的。不过曹自恢复了自由以来，吴已有江河日下之势，所以吴只能以开封为“总统”盘桓之所，曹亦只能伫立于潘杨二湖之滨，或徘徊曾公祠自遣，直至吴离郑时始匆匆赴徐州，过鲁而抵天津。
吴在大竹时所居为芝兰堂，系一旧式五开间七进房屋，其眷属居最后一进。其毗连之一进则为起居室，置一长几是吴画竹之处，左右侧屋公驻卫队。由万县过梁山至大竹沿途常有绿漪漪一片竹林，而大竹所见尤多。吴作画虽不精，而涉猎颇广，非画竹专家，他之画竹是对景挥毫，每成一幅辄题“彭公画梅我画竹，此友千秋思不足”之句。大竹士绅重吴之大名，请之画丈二尺巨幅刻在石头上永留纪念，吴欣然应允，接纸一气呵成，是吴画竹的精品。不料画成时未及上石，被罗泽周一闹，吴匆匆离境，这幅画落于秘书张佐庭之手。张是老秀才，与吴同学、同乡、同榜，投吴多年，所入常不足赡家，其人之清高可知。奇的是相从如此之久，且关系如此之深，家境如此之穷，而吴曾不为之谋一优差，吴之奇与张之清堪称“双绝”。
张取得这幅画由于吴之赠与。吴匆匆出走时命之加意保管，他果然看得比自己性命更重，从四川一直保管到北平，然后恭而敬之地还给物主，吴不觉为之感叹。时值章太炎来访，吴请之题诗一首，即慨然持以赠张说：“你爱这幅画，你就保管一辈子吧。”张随着老同学一辈子，所得止此。自吴殂谢后，张年已七十，僦居北平后门破庙中，除画外一无所有。
罗泽周驱吴之一幕，其动机由吴之以枪支为礼物而起。杨子惠劝吴裁兵，吴不肯裁兵而自动地缴械，把枪炮分赠给川中各将领，只忘了“罗烟灰”这个角色。罗的防地是距大竹不远的广安，各人均有沾润，何以独不把高邻放在眼下，这或者是吴的一时疏忽处，因此激怒了罗带领人马来“夺枪”，而夺枪在往年的四川原不算一回事。当吴入川之始，反对之声四起，然反对者自反对，百足之虫死而不僵，以吴为偶像而敬之重之者尚不乏其人。及其有久居巴蜀之意，正所谓“黔驴之技已穷”，所以罗以为吴不把他放在眼下，他同样不把吴放在眼下。川军有不少以夺枪起家的，那时每一防区都有兵工厂和造币厂，无论官军和土匪，甚至团长以上都有这两套本钱。造币厂鼓铸当十、当五十、当百、当五百、当半元的铜币，也有把当百铜币剖分为二各当五十制钱的，惟铜币之厚薄不同模型不一，所以各人所铸者只能在其防区内行使，而当时预征钱粮至民国四十年以上亦为川中司空见惯之事。兵工厂只能造土毛瑟，招募汉阳兵工厂（或其他工厂）失业工人担任，其制品外形相似而枪眼不正，放射数弹后即有发热爆裂之虞。子弹虽亦能仿造，但因弹壳不易得，所以拾弹壳一事亦为当年川中普遍的风气。罗的防地与大竹隔着一道嘉陵江，吴逃出大竹时，匆匆向绥定城出发。
绥定是刘存厚的防区，那时四川全境一片青白旗，只有刘的防区仍挂五色旗，刘亦为军长，其弟肇乾为师长，弟兄合起来不过万把人实力，兵微将寡，在川军中为一无足轻重的角色。吴在大竹被逐时，刘以为吴与罗泽周之间既已发生误会，为避免开罪于罗起见，不敢开关延纳，幸赖陈廷杰从中说项，才指定以绥定城外檀木场为吴的驻地。不久，国府完成统一大业，全国除东三省外再无独树一帜的军阀了，刘自知站脚不住，宁下野不愿改旗，遂把部队交给乃弟肇乾接管。
二十年（1931年）九月吴到成都与川军各将领叙旧。正当其时，九一八事变发生，他不愿老死巴蜀，决计离川北上，以锦州为其目的地。他为什么要到锦州呢？这里头有一段莫明其妙的情节：吴自入川后，旧部风流云散，从北方来川的人都说于孝侯（学忠）还是“大帅”的基本队伍。当年于投奉时曾提出条件：“倘玉帅出山，吾当弃此而往就之。”一如《三国演义》关公对曹的故事，吴信之不疑。再则当年吴与张作霖有金兰之好，学良视之如前辈，所以他认为奉军亦可供其调度。说起来值得一笑，十六年（1927年）吴在郑州时奉张曾欲以奉军交给他指挥，他岸然不理，而现在他的心情为之一变，却想自己找上门指挥别人的队伍了。
他想到哪里做到哪里，即由成都率领卫队及家属等取道松潘北上。过兰州时曾与刘郁芬见面。旋经宁夏、内蒙而至五原，沿途备尝艰苦，但较之当年入川时之步步荆棘却自不同。陕北师长井毓秀派兵一营把他护送到大同来，阎锡山派代表王靖国往迎，邀吴至和平村一聚。吴的脾气还是那个老脾气，觉得阎颇不够味：“他是东道主，怎不亲自来迎？”代表说阎正患着寒疾，吴想：“多年没见的老朋友，倒屣出迎之不暇，一点点寒疾算什么。”他下车只在中国银行胡乱吃了一顿饭，马上回到车上，吩咐专车向北平进发。“车是张学良备好的，毕竟世谊还是世谊，比之泛泛老朋友大不相同。”
小除夕（旧历十二月二十四日）到了北平，西直门车站上黑压压布满了欢迎群众，军警步哨林立，队伍长条儿摆齐立正，音乐洋鼓呜呜咚咚地奏起来。“嘿，这才真正够味呢！”学良满脸堆下笑来，趋前一步和老前辈拉手，吴的旧部那时做了平津卫戍总司令的于学忠也过来拉手。吴劈头一句对学良说：“你怎么不打？”学良愕了一愕，半晌才答道：“咱们力量不够。”吴脱口呼道：“现在我来了，力量就很够了，军人最大力量是个死字！”学良勉强浮着笑容说：“老伯来了，一切好商量。”
吴不是存心调侃学良。他以为“人家待我这么好，我不能对他说假话”。哪知吴的人生体验仍不足，人类自呱呱坠地以来即无往而不“假”：父母对小儿女说着假话，夫妻假情假意，推而至于人与人之间、国与国之间无不戴上假面具，若要不“假”，只有跳出这个“假世界”才成。当时盛传吴不与学良共乘一车，却钻进了于的汽车里，害得于手足失措，怕以此见疑于学良。这倒不是事实，他乘着特备车直接开到东城什景花园私邸。不过于对这位不合时宜的老上司抱着“敬而远之”的态度也是事实。于处境确甚困难，除年节登门一贺外，平日形迹颇疏。吴以关公自许而又以之许人，然而关公只演义上才有，“假世界”里哪能找出真关公来。
他到北平的俄顷，就知道到锦州的梦做不成，天下乌鸦一样黑，够味的乌鸦一个没有。他的卫队不许下车，更不许进城，打电话给于，于再打电话请示副司令后才把几百个“田横之士”带进城来。
自二十一年（1932年）至二十五年（1936年），吴在北平过的生活都是苦闷的生活，其生活费均由北平军事委员会分会支给。其间轶闻趣事甚多，作者已在《新语林》一书发表（中华书局出版），此书无叠床架屋之必要。有一点值得一写，他从来未“下野”，过去以舟车为“大帅行辕”不必说，后来到四川，到北平，仍然关起房门来做大帅，各处“处长”一仍其旧，其中最著者为参谋长张方严，秘书长陈廷杰等。“处长”、“处员”不分等级，每月薪水一律是大洋五元，封在红信套内，由“军需处”按名分发。你想不受吗？那就是看不起“吴大帅”，看不起“吴大帅”何必到“大帅”公馆当“处长”、“处员”！
吴之不下野是不肯以“过时人物”自居，且雄心勃勃，以为迟早还有第三次用兵关外的大好机会，其撤防歌词中所谓“恢复旧山河”等语终有实现之一日。他有时亦觉他做了“政治俘虏”了，实实在在，他对环境、对时机均不理解，欲逞匹夫之勇，乃作怨天尤人之态，直至老死对人生体验终嫌不足。
其时所谓“华北自治运动”高唱入云，有人想把这尊偶像抬出来做佛兰哥将军第二。吴艴然作色说道：“自治者，自乱也。自治者，人治也。”他情愿关起房门做大帅，不肯闭着眼睛做傀儡。他要做关、岳、文、史一流人物，不做什么外国将军。
二十六年（1937年）秋天，赵炎午有信来劝“子玉守身如玉”，吴又艴然作色说道：“炎午太不够朋友。”那时他的环境确很恶劣，有人劝他迁地为良，他以蓬莱既不可居而又始终不抛弃其“不住租界”的信条，觉得无处可走，且亦无走之必要。不错，他的确是一个光杆大帅，但有着最大的武器带在身上，必要时也许用得着，这件武器就是一个“死”字。
二十七年（1938年）以后，各方之士出入其门者更多，他的最大本领就是从前对付奉张的那套本领-一言不发。是年江天铎由沪到平便道来访（江曾任吴的副秘书长，其名义为秘书处帮办），代述行政院长孔祥熙殷殷系念之意，孔与吴私交颇厚，吴向之深表谢意。
莫说别人不了解吴，连他的患难夫妻有时也不了解他，他的相从有年的幕僚有时也不了解他。二十八年（1939年）九、十月之交，他的心境更苦闷，脾气更大，往往彻夜不眠，曾力批夫人之颊，两目为之尽赤，右颊渐感肿痛。十二月牙疾复作，张夫人从天津找到中医郭医生来，投以石膏二两，想平平他的火气，服后如痫如狂，阖宅为之不宁。十二月四日症象更恶，急延日医开刀，卒以毒入神经不治而死。死后政府为之褒扬，国人为之雪涕，今后名垂青史，真无愧于关、岳、文、史了。
早年吴不得罪于劣绅不会逃出故乡来，也许在故乡郁郁以死，最后仍不免在北平郁郁以死，但与春花同落、秋草同腐者自大有区别。他自信可活到一百二十岁，从他的精神、体力上看起来，绝无衰老之态，似有修龄之望，乃以癣疥之疾，仅以六十五岁撒手而去，良由对国事忧愤成疾，其精神则永存不灭，足以追先烈而励来兹。
