张之洞提出的京汉铁路在1896年进入建设实施阶段，此事在当时的中国引起了修筑铁路的热潮，全国上下在心理上都不再排斥铁路，民间资本也跃跃欲试，想要进入铁路领域。于是，京汉铁路的修筑计划敲定之后，粤汉铁路也被提上议程。最初的粤汉铁路是计划从武汉经江西进入广东。但是，湖南当地乡绅强烈呼吁将粤汉铁路改为经湖南进入广东，他们指出，江西地势不利于修筑铁路，而且，铁路经江西进入广东线路比经湖南进入广东要长。张之洞等人在经过分析后认可了湖南方面的提议，决定将粤汉铁路改为由湖南进入广东。
湖北、湖南、广东三省的民间人士对于粤汉铁路的修筑计划都很支持，他们还提出由他们自行筹款，修筑这条从广州到武汉的铁路。这条铁路将连接广州、长沙、武汉，其重要性不亚于京汉铁路。铁路全长也将超过1000公里，仅次于京汉铁路的长度。对于民间资本修筑铁路，张之洞并不反对。他当时就曾想过筹集民间资本修京汉铁路，只是清政府民心大失，得不到民间的响应。张之洞虽然不反对民间资本进入铁路领域，但是，他怀疑民间是否有足够的财力来承担这么庞大的工程。他主张和修京汉铁路一样，采用官督商办的办法，由官府出面，找商人来代办。
对于修筑粤汉铁路，朝廷是赞同的。朝廷准许鄂、湘、粤三省的民间资本来办，但是要由官方来主持。朝廷此举，一则可以避免路权被洋人把控，二则能够减轻朝廷的负担。
然而，民间资本太过分散，而且确实也难以应对粤汉铁路这种庞大的工程。1898年，朝廷决定按照办京汉铁路的办法办粤汉铁路。也就是说，朝廷不再寄希望于民间资本办铁路了，最终还是要靠借洋债来办粤汉铁路。
办京汉铁路时张之洞以为找比利时这样的小国可以减少政治上的纠葛，谁曾想法、俄等国暗中插手，损害了中国的路权。有鉴于这样的教训，张之洞决意办粤汉铁路时，一定要摆脱英国、法国、德国等国的干扰。当时，在华的西方列强以英、法、德、俄势力最大，政治目的最明显，如果任由他们进一步控制中国的铁路，那么，他们的势力必然要大涨，中国也就更加危险。经过一番考量，张之洞等人认为在列强当中，由美国办铁路，相对来说更合适。
当时美国的工业水平已经处于领先地位，不过，那个时候的美国还没有对外扩张，其原因主要是扩张的时机尚不成熟。当时，对外，有英、法这样的老牌资本主义国家的压力；对内，美国还在忙着和墨西哥的领土纷争。总之，当时的美国暂时对中国还没有太大的野心。张之洞认为，和美国人办铁路，一来可以制衡英、法等国；二来也能减少政治上的损失。
确定了借款方向之后，1898年由盛宣怀出面，经驻美大使伍廷芳联络，一下子就向美国方面借了400万英镑，相当于2800万两白银。在借款之前，张之洞等人看到美国对中国暂时没有表现出太大的野心，但是，没有表现出野心不等于没有野心。和美国人谈判借款时，他们的条件不比英、法少，唯一让人稍感心安的是，美国还没有占领中国的土地。在合同里，美国人要求派美方人员参与线路勘探、筑路，还要由他们控制火车的运营。中国若要收回路权，必须先将借款全部偿还。和美国的合同虽然有诸多苛刻条款，但是张之洞还是咬牙签下了，毕竟，这在当时的条件下，已经是最有利的选择了。
然而，合同签订之后，美国方面并没有开始工程建设，他们提出，经过勘测，400万英镑远远不够修这条铁路，要想修成铁路，款项必须加倍。另外，他们还要求清政府准许他们在铁路沿线开矿，同时，还得把铁路延伸到香港的九龙半岛。
美国人得寸进尺、贪得无厌，这让张之洞十分反感。但是，个人情绪终究要服从于整体的战略布局。张之洞想通过由美国人修粤汉铁路来牵制英、法、俄在中国的扩张，而且，修成粤汉铁路，也确实有利于中国的发展。1900年，八国联军侵华，清政府希望用粤汉铁路换取美国的支持。而负责与美国人协商具体合同条款的伍廷芳也担心美国人再次变卦，提出更苛刻的要求。多方权衡之后，朝廷同意了美国人修改合同的要求，张之洞、李鸿章、盛宣怀等人急电远在美国的伍廷芳，通知他可以和美国方面签约。1900年7月，新的合同正式签订。
这一合同与原来的条约相比，借款额度由原来的400万英镑变成4000万美元，折合银两5300万两。合同还给了美国人很多的垄断权利，例如，不许中国方面再修筑可以和粤汉铁路争夺生意的新铁路，不能修筑和粤汉铁路平行的铁路。合同里虽然没有明确答应美国人要求的在铁路沿线采矿的权利，但是却准许美国人在铁路沿线驻兵保护铁路，同时，还准许美国人在铁路沿线发展与铁路相关的企业。同时，合同里也明确规定，这条铁路必须由美国方面修筑，美国不得转让铁路的修筑权，这就把美国和粤汉铁路绑到了一起。由此，粤汉铁路沿线成了美国的势力范围。
在和美国人签订的这份合同中，中国损失巨大，这当中除了美国人的唯利是图，很大一部分原因在于中国观念的落后。比如张之洞等人分不清借款和入股的区别。如果是向洋人借款，那么中国方面只需要还款即可，美国方面也只能收取利息和本金，至于铁路的经营权美国人则无权过问。如果是入股，就要另当别论了。洋人入股才会涉及对铁路的控制权，但是，这要根据其所占股份的多寡来确定其权力的大小，洋人的股份超过50%，他们才能真正控制铁路。而洋人选择入股的话，他们就得自负盈亏，投资铁路的款项只能通过经营铁路来收回，中国方面也就没有还款的义务了。可是，在这些合同里，根本就没有区别借款和入股，中国方面不仅要还款，还要交出铁路的经营权，洋人既是债主又是股东，他们可以获得最大的收益，却规避了所有的风险，这在现代企业制度里，根本就是不可能存在的。这个问题在当今自然可以说得清楚看得明白，但是，在百余年前那个刚刚开始接触新世界的时代，就算是张之洞这样的封疆大吏弄不明白，也是可以理解的。
中国方面一再退让之后，最终和美方签订了这样一个毫无平等可言的合同。合同规定，美国方面要在1903年修完粤汉铁路。然而，到1903年，美国人仅仅修了广州到佛山的支线，干线则分毫未动。更让人震惊的是，美国方面擅自将铁路三分之二的股权转让给了正在修京汉铁路的比利时，而比利时的背后则是法、俄，此举使得张之洞借美国制约法、俄的战略意图失去了意义。美国人公然违约的做法在中国引起了轩然大波，不论是政府还是民间，都要求废除和美国签订的筑路合同。1903年下半年到1905年秋，以收回粤汉铁路为中心的保路运动轰轰烈烈地展开了。
参与此次收回粤汉铁路运动的人，既有张之洞这样的满清高官，也有远在美、日的中国留学生，还有国内的乡绅地主以及广大普通民众。可以说，这是一次从上到下广泛参与的爱国运动。张之洞就曾给当时的驻美公使发电报，指出美国人违约在先，中国自然也就没有履行合同的必要了。他希望中方代表能够据理力争，不要再妥协。
美国违约在先，中国要废约，这是合情合理的要求，但是美国方面得知后却坚决不同意。他们先是和在美国的中方代表争论合同，然后又派人到中国来游说，希望中国履行合约。美国还提出，可以由美国方面把出售给比利时的股份再收回来。但是，中方已经决定废约，所以，任凭美国人如何狡辩，中国都不同意继续执行合同。美国人见到软的行不通，便撕下他们和善的面具，露出尖利的牙齿。美国政府出面干涉，他们无视美方违约在先的事实，而是一再强调美国政府有保护美国人利益的义务，要求中国政府执行合同。
在这里我们可以来对比一下美国政府和清政府。美国政府对外毫无疑问是个资本主义的强盗，他们凭借强大的国力，无视基本事实，强行抢夺利益。但是，美国政府对内却是个可靠的保证，美国的利益受到损失时，美国政府当即就站出来维护本国的利益，即便是用蛮不讲理的方式也在所不惜。再看清政府，国内想要自己修铁路，结果他们不信任国内的力量，不仅压制民间修铁路的举动，还转手把铁路的修筑权送给了美国。对内，清政府暴露的是它仇视民众的一面；对外，人们则看到了它讨好列强的一面。如此作风，清朝不亡，当真是天理不容。
正当全国上下一致要求收回粤汉铁路时，参与铁路修筑的盛宣怀等人却提出了修约。他们从政治经济角度考虑，准备接受美国人关于粤汉铁路的新提议，和美国人妥协，不废除美国人修筑粤汉铁路的权利。可是，盛宣怀等人却被国内舆论爆出了受贿的丑闻。据称，他们接受了美方的贿赂，因为拿了美国人的好处，才同意和美国修约。
在收回路权的关键时期爆出这样的事情，这再次引起了社会上的强烈反应，人们对粤汉铁路的修筑合同更加不信任了。在社会舆论的压力下，朝廷要求盛宣怀不要再参与粤汉铁路相关事宜，由张之洞主持粤汉铁路。张之洞主张废除合同、收回路权，这一点和广大民众是一致的，这使得张之洞得到社会上的广泛支持，废约一事有了进一步保障。
这时，清政府也下定了废约的决心，不过为了减少美国政府的阻力，清政府把“废约”改为“赎约”，准备以赎回的方式废除粤汉铁路借款合同。1905年，在张之洞的主持下，“赎约”一事有了实质性进展，美国方面同意了中国“赎约”的条件，清政府以675万美元“赎回”了粤汉铁路。这笔钱折合成银子有700万两，这么一笔巨款，不论是朝廷还是张之洞，都拿不出来。经过张之洞一番考虑，这700万两由湖北、湖南、广东分摊：湖南湖北各200万两，广东300万两。至此，粤汉铁路路权的问题才算是解决了。
然而，此时的清政府连国库都空无一物，地方财政又怎么会有银子呢？为解燃眉之急，张之洞不得已再次向西方借款。他通过英国驻汉口的领事，从香港借来了110万英镑，作为向美国赎回路权的费用。和英国人的借款合同利息较低，还款方式也较为合理，这也许能算得上是张之洞在借款上的一次进步吧。
赎回粤汉铁路的爱国举动固然值得肯定，但是，这也给粤汉铁路的继续修建带来了极大的不便，因为当时的中国无论是技术还是资金，都难以在短期内办成粤汉铁路。后来的事实也证明了这一点，直到1936年，粤汉铁路才建成通车，工期长达30多年，而京汉铁路的建设工期则只有8年。
粤汉铁路赎回后，朝廷和民间对于如何再修这条铁路产生了分歧。鄂、湘、粤三省民众要求由三省共同集资办铁路。而朝廷，尤其是以张之洞为代表的一批官员，依然不相信民间能办成铁路，他们倾向于官办或者官督商办。张之洞虽然主持粤汉铁路的修筑工作，但是铁路是要修在鄂、湘、粤三省的，如果不能和当地乡绅达成一致，铁路将很难修筑。乡绅阶层是封建时代中国社会的核心，他们是底层百姓的领袖，同时又是统治阶级政令的传达者，居于承上启下的地位，只有稳住他们才能稳住中国。张之洞自然懂得这个道理，所以，在当地乡绅的一再要求下，他也只得放弃官办的想法，允许三省自办。
在鄂、湘、粤三省讨论自办铁路时，又产生了分歧。广东不愿意合办，他们认为，各省的情况不一样，各省境内的铁路应该由各省独自负责，大家互不干涉，最后连起来就是。广东不同意，张之洞自然不能勉强，只好让各省独自去修。1906年，三省确定了自办铁路的方针，广东的那部分铁路采用商办的形式，湖南的则是官督商办，湖北的采取官办。
广东的铁路商办，可是在筹钱的时候广东的乡绅矛盾不断、冲突连连，资金不能及时到位，严重影响了铁路的进度。从1906年到1911年，广东只修筑了85公里的铁路，但是却花费了近1500万两银子。在商业模式不成熟的时期，商办的难度可见一斑，张之洞怀疑铁路商办的可行性，看来也不是没有道理的。
湖南湖北的铁路办得也不顺利，资金始终是困扰工程进度的最大难题。湖南用了两年时间，也只修成了50公里，湖北境内的铁路更是迟迟未能动工。粤汉铁路的进度如此缓慢，这让张之洞无法忍受，他再次提出借款筑路。面对严峻的现实，朝廷也只能准许张之洞借款来办铁路了。1908年7月，朝廷任命张之洞为督办粤汉铁路大臣，如此一来，借款办铁路的大权便握在了张之洞的手里。
1908年12月，张之洞和英国方面谈判借款筑路一事，英国方面意在独揽铁路承办的权力，而张之洞则吸取了从美国借款的教训，对于英国方面的过分要求他坚决不予应允。同时，张之洞又和德国方面谈判借款修路，并且取得了实质性进展，签订了草约。得知此事的英国人大为恼火，他们一方面向清政府发出外交抗议，另一方面又联合法国和德国竞争。清政府既不敢得罪英法，也惹不起德国，只好三家都借。1909年5月，张之洞和英、法、德三国的银行签订了借款合同，总计借款550万英镑，英、法、德三国各占三分之一。
可是，当张之洞向三国借款筑路的消息传到美国后，美国人生气了，他们认为，美国在中国享有最惠国待遇（这是在历次不平等条约中列强获得的特权），英、法、德享有的权利美国也应当享有。为此，先是由美国国务卿出面抗议，反对中国只向英、法、德借款修路，后来，就连当时的美国总统都出面给清政府施压。与此同时，美国派出代表去找英、法、德三国，协商共同向中国贷款筑路。最终，清政府同英、法、美、德四国的银行团达成新的贷款协议，贷款额度由550万英镑提高到600万英镑，四国平分。
然而，在1909年9月，张之洞去世了，湖南湖北的乡绅也极力反对借款筑路，一时间，这份新的贷款协议只能推迟。但是，英、美、德、法四国共同对清政府施压，清政府无力反抗，只能在1911年5月，正式签下了这份合同。
单就这份借款合同而言，这应该是历次借款合同中最公平的一次。张之洞在谈判时，吸取了跟美国借款的教训，非常注意保护铁路的主权，而且强调是借债不是入股，防止了四国以股东的名义侵犯中国的路权。合同的内容也只涉及经济利益，不牵涉政治行为，更符合商业合同的本质。可以说，这份合同与那些出卖路权的合同有本质区别，张之洞很好地保护了国家利益，这是一份相对公平合理的借款合同。
1912年，民国政府成立，新政府承认了清政府和外国签订的各项条约，粤汉铁路的贷款合同也继续执行。1911年，完成长沙至株洲段；1916年6月，完成广州至韶关段；1918年9月，完成武昌至长沙段；直到1936年8月，粤汉铁路全线才竣工。
