张之洞在山西时就已经开始尝试编练新式军队，在广东期间则更进一步。不过，在张之洞编练的这些新式军队中，最有影响力的应该是湖北新军。湖北新军不仅是中国最早成型的新式军队，也是辛亥革命的主要参与者。
中日甲午战争期间，张之洞被调往两江，代理两江总督，主抓江苏、安徽和江西三省的军民政务。甲午战后，中国惨败，张之洞再次深刻体会到发展军事的必要性。他在处理甲午战争善后事宜的过程中也作了深刻的反省，提议发展新式军队。他上奏朝廷，建议在江南编练一支万人新军，称为“自强军”，并提出了具体的练兵方法。
一是招募外国军事人员来训练中国军队；二是派遣中方人员出国学习新式军队建设；三是国内各省建立军事学堂，开展新式军队教育。张之洞认为，这三者当中，能快速成军的是第一种办法。
当时，编练新式军队并不是新鲜事，湘军、淮军很早就开始或多或少地借鉴西方军队建设的经验。但是，张之洞认为，以往学习西方军队，只不过是学习他们的口号、训练这些表面的东西，至于战术、指挥、行军布阵等根本性的东西并没有涉及，这使得所谓的新式军队空有其表，根本无力应对真正的新式战争。如果真要学习西方编练新军，那么，就绝不能只学他们的皮毛，而更应该学习他们的精神。练兵不是朝夕可成的事，仓促间也许可以招募大批士兵，但是真正到了战场上，这些不懂新式装备的士兵毫无用处。要练兵，必须从外到内完全向西方看齐。事实上，张之洞这时在思考用西法练兵的问题时，所考虑的已不仅是武器装备与战术的改进，而且还有军事制度方面的变革。
张之洞编练自强军的奏折很快就得到了朝廷的批准，随即自强军正式组建。江南自强军是模仿德国军制编练而成的，张之洞希望仿照德国军制编练一支诸兵种合成的新式军队。1895年12月，张之洞向朝廷汇报了自强军初步成军的情况。自强军仿德国军队的建制，设步队8营，每营250人，分为5哨，马队2营，每营180骑，分为3哨；炮队2营，每营200人，分为4哨；工程队1营，有100人。全军共13营，总计2860人。
这样的规模并不大，远没有达到张之洞的预期，张之洞希望能够继续扩建到1万人，如果没有足够的资金，至少不能低于5000人。
自强军的士兵多是江苏、安徽等地的百姓，年龄在16～20岁之间，入伍士兵必须由西医进行体检。为了保证兵源的素质，张之洞特别强调，坚决不能招收城市里那些游手好闲混日子的人。
在训练上，张之洞聘请了35位德国军官作为自强军的教官，另外还挑选了一批中国军人协助。在具体分工上，德国教官负责训练，中国军官负责监管。
自强军的建设步入正轨后不久，原两江总督刘坤一回到任上，张之洞不再代理两江总督，回到武汉。自强军则交给刘坤一继续建设。
自强军以全新的面貌出现在世人面前，根据梁启超的记载，江南众多军队中，没有哪个能比得上自强军。这支军队仅仅训练了8个月，但是，士兵个个身强体健，军容整齐划一，枪械运用熟练，战术动作标准规范，纪律严明，行动有序。看过这支军队训练的西方军事人员无不称赞夸奖。
后世的研究者也对自强军在中国军事近代化过程中的意义给予了较高的评价。美国研究中国近代军事史的专家鲍威尔认为，自强军的建制虽然并不如张之洞所声称的那样完全符合德国军制，但已经和中国的旧式军队有了极大的不同，具备了很多欧洲军队的特点。
1896年，回到湖北的张之洞虽然离开了自强军，但是他并没有放弃建设新式军队的尝试，他计划用西法编练湖北护军。这一工作是江南练兵的继续，而且湖北护军事实上也与江南自强军有着直接的渊源承继关系。
所谓“护军”，其实就是省城卫戍部队，负责省城的防务。张之洞在江南编练自强军时，曾经从江南护军中挑选1000人接受德国教官的训练。经过半年的训练，初见成效，这1000人具备了较高的军事素养。当张之洞得知自己将离开两江返回湖北后，他就开始筹划在湖北练新军一事。
为此，他上书朝廷，指出湖北有守卫长江的责任，而长江上盗匪时常出没，骚扰航运，有必要加强军队建设，震慑盗匪。但是，湖北的财政吃紧，无力聘用外国教官。于是，张之洞就提出，将自强军中已经练成的原江南护军中的500人调往湖北，作为湖北练兵的模范。朝廷方面批准了张之洞的请求。
回到湖北后，张之洞以这500人为班底，将他们分成前后两营，又招募一批士兵补足数额，编成了1000人的湖北护军。
湖北护军的建制也是效仿德国陆军，设前营步队3哨，炮队2哨；后营步队3哨，马队2哨；另设工程队1哨。全军1000人，100多匹马。湖北护军与江南自强军相比，有两点明显的变化：一是德国教官的比重下降，只有少数几个德国教官负责指挥训练，多数军官都是中国人。二是在军饷上，因为湖北不如两江富裕，他们的军费自然没有两江优厚。
湖北护军在建设过程中始终难以摆脱财政困难的问题，但是，张之洞依然想方设法扩编这支军队。同时，他还将湖北原有的一些旧式军队进行改编，使之成为新式军队。在编练新式军队过程中，张之洞主张裁撤旧式军队，把他们的经费用到新军建设上。如此，便可以在不增加军费的情况下，编练更有战斗力的新式军队。
经过几年的苦心经营，张之洞不仅编练了一支精锐的湖北护军，还将湖北原有的一些旧式军队都改编成了新式军队。当时，外国军事人员认为，湖北新军在训练和武器使用上，可以和德国陆军媲美，士兵的身体素质更是在法军之上，工程兵则与美国陆军工程兵相似，这些使得这支军队成为当时中国最好的军队。虽然这一番评价的前半部分有些夸大其词，但是后半部分确是实情，因为在当时的中国可与湖北新军媲美的只有袁世凯的北洋新军。
张之洞编练的湖北护军只是一支用于省城防务的小型军队，军队中真正的中坚力量则是常备军，也就是正规部队，保家卫国要靠他们。整编湖北常备军，也是张之洞军队工作的重点。从1902年到1907年，张之洞用了5年时间建成了湖北的常备军。
1901年清政府要求各省淘汰旧式军队，精编成新军，新军一律使用枪炮。于是，张之洞积极响应，将湖北的旧式军队改编为湖北常备军左、右两翼。此次整编的湖北常备军两翼总计共28营，7000余人。
1904年，朝廷对张之洞的湖北新军提出了整改意见，张之洞根据朝廷的意见，同时参照袁世凯的北洋新军对湖北新军进行了调整。
调整后的湖北常备军在建制上由原来的两翼改为两镇（相当于师），全军满员的情况下，总计官兵2万余人。不过，当时湖北的财力不济，张之洞拿不出供应这2万人的粮饷，他主张先编练一部分，把技术兵种全额编练，步兵可以适当减少。最终，湖北新军虽然是相当于两个师的编制，但是实际上只有大约13000人。随着新军的建设，张之洞创办的军事学堂培养的学生也有了用武之地，这些人进入湖北新军，成为骨干力量。
1905年2月，袁世凯提议统一全国军队番号，将原有常备军各镇一律改称陆军各镇。1907年，清政府确定新军的编制，计划将全国的陆军分为36镇，分配给湖北两镇指标，为第8镇和第11镇。当时第11镇尚未完全练成，湖北实际上只练成一镇和一混成协（相当于旅），即陆军第8镇和暂编第21混成协，成为仅次于袁世凯北洋军的军事力量。据《清史稿》记载，1907年，湖北新军第8镇有士兵10502人、军官702人，第21混成协有士兵4612人、军官288人，全军官兵合计16104人。
1907年，张之洞离开湖北进京，这时的湖北新军基本已经练成。直到辛亥革命前，湖北新军基本上没有再做过调整。对于湖北新军，各方都给予了肯定，张之洞也很满意。他离开湖北后，依然牵挂湖北新军的建设与发展，特意给黎元洪等湖北新军将领发电报，催促他们抓好新军建设。
1909年，陆军部派人暗查南方各省的新军，回来后得出结论，南方各省的军队，以湖北为第一。张之洞得知这一结论后，很是欣慰。
1909年10月，张之洞去世，1911年10月，武昌起义爆发。张之洞本想用新军维护大清国、守住纲常名教（儒学），结果反而是他的新军成了清廷的掘墓人。
