张之洞在山西巡抚任上时，就已经有了办洋务的想法，只是还没有来得及实施就被调到了两广，而刚到两广时，又要全力应对中法战争，直到一年后战争结束，他才有精力实行继续办洋务的想法。张之洞考虑到两广地处边陲、把守国境的实际情况，他认为在两广的洋务活动首先应从编练新式军队开始。
1885年7月，也就是中法战争结束后的第一个月，张之洞便开始在广东筹建新式军队。他计划在广东建成一支新式陆军和一支新式海军。按照张之洞的设想，他编练的新式军队要全部使用西洋武器，并按照西方军事强国的训练方法进行训练。为了编练两广的新式军队，张之洞特意把他在山西编练新军时的下属李先义抽调到广东，让他继续编练新军。李先义熟悉西洋武器，又有在山西编练新军的经验，办事也踏实，这令张之洞很满意很放心，后来张之洞在其他地方编练新军时，李先义都是他的得力助手。张之洞计划中的新式陆军有2500人，被命名为“广胜军”，张之洞希望它能成为广东的一支百战百胜的军队。
考虑到当时欧洲大陆战斗力最强的是德国陆军，所以，张之洞便有意按照德国陆军的标准来发展自己的陆军。在装备上，张之洞不惜重金，从德国的克虏伯工厂购买优质的大炮和枪支，此举使得中国军队在装备上开始向欧洲强国看齐。在训练上，张之洞请来德国军官作为教练，依照德国军队的训练标准训练，训练科目有卧姿射击、使用火炮、修建掩体营地、埋设地雷、修筑炮台、行军作战队列、铺设电报电线、野外行军、夜间战斗、阵地防御等等。为了确保按计划训练，张之洞几乎每个月都要去检阅这支新式军队。他希望通过训练这支军队来积累发展新式军队的经验，以便能够大规模地发展新式军队。就这一点而言，张之洞是成功的，他日后编练新式军队时，很多重要人员都是从“广胜军”走出来的。
广东临海，而列强往往从海上入侵中国，所以，张之洞也很重视海军的建设。在张之洞到任广东之前，广东已经有了一支水上力量，但是实力非常弱小，只能从事一些内河上的缉私活动，对于海战则是无能为力。张之洞鉴于中法战争的教训，有意大力发展广东的水上力量，希望能够把广东的水上力量发展成为可以和北洋水师、南洋水师、福建水师并驾齐驱的大型舰队。在1885年10月，张之洞给朝廷上奏折，说明自己想要扩建广东水师的意图，希望朝廷能够在经费上予以支持。但是，当时朝廷海防建设的重点是北方，海军的军费主要是用于发展北洋水师，所以，张之洞的提议并没有得到朝廷的支持，张之洞也只能依靠两广地方上的财力来发展海军。在张之洞的计划中，他要用5年的时间将广东水师建成一支具备对敌作战能力的海军。
张之洞要扩建广东水师，可谓是任务艰巨。当时的广东水师装备的舰船非常差，都是一些小炮艇，船的吨位也很小，只有二三十吨，造船的材质也是一些普通的钢铁薄片，根本就没有可以防御炮火袭击的装甲，基本上是中弹就沉，甚至用了几年之后，水本身的腐蚀就能让船体坏掉，这样小的船自然也无法开到海上，很可能一个大一点的海浪就能把它们掀翻，因而这些船只能在内河里活动。
虽然广东水师的基础极差，但是张之洞并不气馁。镇南关之战刚结束，张之洞就拿出“闱姓”收益中的20万两银子，用于修复、扩建黄浦船坞。黄浦船坞原本是英国人设立的。英国人来到中国后发现，中国的造船业很落后，无法修理他们的大型船只，于是就有英国人看到了商机，他们出资建造船坞，用于修整他们的船只，黄浦船坞就是在这种情况下出现的。后来经过不断发展，黄浦船坞成为一个具有相当规模的大型船坞。张之洞的前任把它从英国人手中买下，用于发展广东的造船业。张之洞接手后，更是加大了对黄浦船坞的投入，使这个船坞具备了一定的造船能力，张之洞便让他们自行建造一批军用船只。
到1886年，他们建成了4艘新船，并分别将其命名为“广元”、“广亨”、“广利”、“广贞”，这些船依然是小船，无法完成海上任务。所以，张之洞便开始建造能够出海的铁甲舰。由于技术的原因，广东当地的造船厂很难建造大型军舰，因而张之洞选择先建小型军舰。经过两年的努力，最后造出了“广已”、“广玉”、“广金”三艘铁甲舰。这些船的质量和之前的船相比有了明显的提升，在吨位上达到了700吨左右，还配备有8门火炮，如此一来，这几艘船不仅能在海上航行，还能用于海战中。这种小型铁甲军舰依然不是张之洞所希望的最终成果，他还想要更大的船。但是，广东当地的造船技术已经无能为力了，因而张之洞选择由福州船政局来建造更大吨位的舰船。
福州船政局是较早建立起来的洋务企业，早在1868年1月，他们就开工造了第一艘轮船，并在次年6月下水，吨位达到1370吨。据说当时欧美人士凡是来中国考察的，一般都会绕道去福建参观福州船政局。在马尾海战之前，福州船政局已经能够制造吨位在2000吨以上的大型军舰，在航速上也接近欧洲的先进军舰。虽然在中法战争中福州船政局遭到法军的严重破坏，但是，在战后中国方面又对福州船政局进行了一定的恢复，福州船政局得以继续发展。张之洞给福州船政局下的造船订单是让他们造1000吨以上的军舰，这样的造船任务对于福州船政局来说问题并不大。最终福州船政局为广东水师添造了“广甲”、“广乙”、“广丙”3艘千吨以上的军舰，由此，广东水师的战力大为提升。
到张之洞离开两广时，广东水师虽然远远没有达到张之洞想要的规模，但是相比于他到任时，已经有了很大的改观，整个广东水师拥有军舰20余艘，小型战舰10余艘，鱼雷艇若干，这样的配备已经可以有效防御广东的内海和近海了。然而，张之洞离开两广之后，他的继任者无心发展洋务，黄浦的造船厂也被裁撤，广东水师的发展基本停滞不前。甲午中日战争时，广东水师的3艘千吨级军舰参战，“广甲”、“广乙”两舰被击沉，“广丙”战后被编入日本海军，后来因为遭遇风暴在澎湖沉没，而这3艘军舰也是广东水师拥有过的最大吨位的军舰。其中的“广乙”舰是甲午战争中损失的第一艘中国战舰。在1894年7月25日上午发生的丰岛海战中，“广乙”舰遭日本联合舰队的第一游击队重创，在朝鲜十八岛附近搁浅，为了免遭俘虏，该舰燃火自焚自毁。这3艘军舰的损失，也宣告了张之洞建设的广东水师遭到重大失败。
