1902年，清政府的教育改革催生了众多新式学堂，新式学堂的出现对于教师队伍是个严峻的考验——传统教育体系中的教师很多都难以应对新的教学环境，要确保新式学堂能够顺利投入使用，培养一批符合新式教育需求的教师尤为紧迫。张之洞是新式教育的支持者，所以，他主政的两湖对于新式教师的需求非常大。有鉴于此，创办一所培养新式教师的学校就显得尤为必要。
1902年，张之洞在武昌开办湖北师范学堂。这个师范学堂除了普通学堂都开设的课程之外，还专门开设了师范类学校的必修课程，其中有教育学、教授法、学校管理法等。学堂招收120名学生，学制为两到三年。由于当时急需新式教师，张之洞还开办了速成班。速成班的学员都是有一定基础的，一年就可以毕业。由于中国缺乏师范教育的专业人才，张之洞只得从日本聘请懂师范教育的专业人士。这是我国近代教育史上最早的独立完备的师范学校。这个学堂专门用于培养小学教师，是我国第一个官办中级师范学堂。在办这个学堂的时候，张之洞还派人远赴日本，考察日本的师范学校。
1902年，两江总督刘坤一去世，张之洞再次代理两江总督。在他代理两江总督期间，他并没有停下办教育的脚步，仅仅几个月的时间，他就又创办了一所颇有影响的学堂——三江师范学堂。
张之洞在武汉办的学堂，名字都容易理解，可是，这个三江是指什么呢？关于学校名字的来源，有两种观点。
一种观点认为，南京当时为两江总督官邸所在地，而两江总督所管辖的江苏、安徽、江西三省均处长江中下游，也就是古代所指的“扬州”地区。因而“三江”即寓“东南”之意，取名三江师范学堂，既不失古风，又与两江总督管辖之地有所照应。（相传大禹治水，分天下为冀、兖、青、徐、扬、荆、豫、梁、雍九州，而“东南曰扬州”；《书·禹贡》“扬州”记载“三江既入，震泽底定”；《周礼·职方》“扬州”也云“其川三江”，大概是指东南之地河川纵横、水网交错。）
另一种意见认为，安徽在历史上曾属江南省，“三江”即“江苏”（或“江宁”）、“江南”、“江西”三省的简称。《三江师范学堂章程》第一章第一节就“正名”曰：“本学堂名三江师范学堂，为江苏、安徽、江西三省之公学。”也许这正是“三江”之名的由来。
张之洞于1902年11月5日到达南京。完成工作交接以后，他给朝廷写了一封表示感谢的奏折，同时汇报他在两江的施政方略。因为当时清政府已经颁布诏令要实施新政，所以，在奏折中，张之洞表示，他要在两江积极响应朝廷的号召，推行新政。同时他也强调，在众多新政中，最为紧要的是培养人才，如果没有新人，又怎么能实施新政呢？出于这样的目的，他打算在南京办三江师范学堂，加快人才培养的进度。
为了加快三江师范学堂的创办，张之洞在1902年底上奏朝廷，请求朝廷准许他设立两江学务处，专门负责全省各种与学校相关的事务。办学校需要银子，为了方便钱款调度，张之洞还特意把银元局的一位官员调到学务处，此举确实使筹款方便了不少。
经过一番紧张的筹备工作，建立三江师范学堂的前期准备基本完成，于是，在1903年2月，张之洞正式上书朝廷，申请创办三江师范学堂。张之洞的《创建三江师范学堂折》开宗明义，重申了“师范学堂为教育造端之地，关系尤为重要”的观点，强调兴办教育，必须“扼要探源”，把握先后次序。“兹于江宁省城北极阁前，勘定地址，创建三江师范学堂一所，凡江苏、安徽、江西三省人士皆得入堂受学。”奏折详尽而又具体地阐述了创设三江师范学堂的理由、意义、章程学制、生员定额、师资来源及构成、办学经费及筹措渠道等等。
张之洞在湖北办学堂已近有些年头，可谓是经验丰富，这为他办三江师范学堂提供了很多便利。两湖书院的毕业生胡钧曾奉张之洞之命两次赴日本考察教育，对日本的师范教育有很深的了解，张之洞就把他调到南京，参加三江师范学堂的筹建。张之洞要求他仿照日本东京帝国大学的模式来办三江师范学堂，学校的章程、学制等都要完备。
1902年底张之洞又选派8人赴日考察教育。此次考察，主要是为了汲取日本师范教育成功经验而用于三江师范学堂的建设发展。这次赴日考察的人回国后很多都任职于三江师范学堂，达到了当初的目的。
张之洞认可日本明治维新的做法，并有意效仿，所以他在湖北期间就聘请了不少日本人。在三江师范学堂正式成立之前，张之洞就在着手为学堂招聘一批日本教员。为此，他致函日本方面，提出从日本聘请教员的要求，并请日本方面帮忙物色一批合适的人选。当时的日本已经开始积极对外扩张，接到张之洞的要求后，他们自然乐意合作。很快，双方签订了关于聘请日本教员的协议，协议对聘请日本教习的数量、聘期、所任科目、课时、薪水、川资、诊疗费用等事项都有明确的规定。
张之洞虽然热衷于办新式学校，但是对于中国传统教育他也一点没有松懈。他要求两江总督下辖各省举荐一批在中国传统教育中表现优越的人，在这批人中进行考试，录取50人，和日本来的教员一起进修，熟悉新式教育，进而在即将成立的三江师范学堂中教授国学。张之洞对此事要求极为严格，考核时他还计划亲自主持，只是因为要务缠身，不得已找人代替自己去了。参加考试的有370人，结果只录取了20人，与原计划的50人还差很多。但是，张之洞坚决不允许为了凑数量就降低质量。对于被录取的这20人，张之洞也不是完全放心，他认为，考试只能是考文字功底，至于考生的人品就不得而知了，所以他要求对被录取的20人进行面试。此时，新的两江总督人选已定，几天后张之洞就要离开南京回到武汉了，但是他依旧兢兢业业，尽职尽责，丝毫不因为他是代理两江总督而降低对学堂质量的要求。
张之洞在其《创建三江师范学堂折》中曾要求：“学堂未造成以前，暂借公所地方。”1903年3月，三江师范学堂在江宁府署开办，张之洞参加了开办仪式并与相关人员合影。3月20日，张之洞和新任两江总督魏光焘（1837—1916，湖南人，魏源族孙）交接工作，离开了南京。接任张之洞的魏光焘没有荒废三江师范学堂，并将它继续发展。在后来的发展过程中，三江师范学堂不断更换名称。它使用过的名称有：三江师范学堂、两江师范学堂、南京高等师范学校、国立东南大学、国立第四中山大学、国立江苏大学、国立中央大学、国立南京大学。如今的南京大学就是三江师范学堂的继承者。
1904年，回到武汉的张之洞拨款43000两纹银把原来的文高等学堂（两湖书院）改为两湖总师范学堂。与此同时，为了能够给学堂的师范生提供实习场所，张之洞又给两湖总师范学堂设置了初等、高等小学堂各一个，作为两湖总师范学堂的附属学堂，也是两湖总师范学堂师范生的实习基地。两湖总师范学堂规模宏大，原计划招生1200人，实际招收700多人，有“千师范”之称，是两湖地区最大的学堂。
学堂建有南北书库。南书库为一般阅览室，备有一般书籍和报纸杂志，供学生自由阅览。北书库为资料藏书处，供教员教学和研究考查使用。两湖总师范学堂本科学制为5年。学堂设仁、义、礼、智、信5科。1907年于智、信两科开办理化专修科学堂，1908年于礼科开办博物专修学堂。辛亥革命以后，学堂停办，而学堂的校舍为日后新办的许多学校提供了场所。
1904年，张之洞又开办了湖北师范传习所。这所学校并非是单纯地培养师范类学生，而是在职教师的进修学校。这是我国教师进修学校的开端。学校设定的课程有教育学、教法学、学校管理等。
在张之洞的指导下，湖北各地纷纷办起新式中小学堂。然而，张之洞发现，这些学堂在快速发展的同时，质量却难以保障。最主要的问题就是缺少合适的教师。于是，张之洞及时叫停了各地在建的学堂，要求先建初级师范学堂、师范速成学堂、师范讲习所这些师范类学校。1905年，张之洞在武汉开办了6所专门为各地方培养教师的师范学堂，以此促进湖北各地近代教育的发展。
另外，张之洞还注意到了幼儿教育，他创办了培养幼儿教师的湖北敬节学堂，还创办有湖北育婴学堂，培养婴儿保育员。
张之洞的师范教育，涵盖了从婴幼儿到大学的全部阶段，形成了一个完整的体系，为中国师范教育的发展提供了宝贵的经验。
