到了9月，慈禧决定召见郭嵩焘，以作安抚。慈禧对郭说：“此时万不可辞，国家艰难，须是一力任之。我原知汝平昔公忠体国，此事（出使）实无人任得，汝须为国家任此艰苦……旁人说汝闲话，你不要管他。他们局外人随便瞎说，全不顾事理，不要顾别人闲说，横直皇上总知道你的心事。”郭嵩焘的辞职之意，至此才彻底打消。
出发前夕的10月31日，太后再次召见郭嵩焘，安慰他说：“汝心事朝廷自能体谅，不可轻听外人言语，他们原不知道什么。”郭嵩焘忍不住当着太后骂了一通主流士大夫，说他们“不知事小，却是一味横蛮，如臣家于此已是受惊不小”！
——这年8、9月间，在长沙参加乡试的湖南士子闻知“知名士大夫”郭嵩焘即将前往西洋，担任驻英国公使，俱都怒不可遏，天朝体制，从来都是四方蛮夷在我京师设置常驻使节，岂有天朝派遣使节常驻蛮夷之都的道理？何况郭嵩焘此行，还负有就“马嘉里事件”向英国道歉的使命，更加刺激这些“爱国士子”，他们组织聚会，痛诋郭嵩焘，并结队前往长沙玉泉山，扬言要彻底捣毁郭家的住宅，郭氏为此一门受惊不小。未出国门，郭氏就已落到了“人神共愤”的地步。
在上海候船期间，郭嵩焘给两江总督沈葆桢去信一封，可以窥见这位年近六旬的老人内心的波澜起伏：“幼丹（沈葆桢字幼丹）尚书同年大人阁下……嵩焘乃以老病之身，奔走七万里，自京师士大夫下及乡里父老，相与痛诋之，更不复以人数……乃至此极，公将何以教之？”
虽已因为这次出使而不被家乡父老当作人来看待（“更不复以人数”），郭却转而担忧，“默察天下人心，洋患恐未有已也”——自己遭遇如此，可窥天下人心，举国愤愤而无理智，洋患如何能息！
【一部日记，“不知是何居心”】
1877年1月，郭嵩焘乘坐的Travancore号邮轮抵达伦敦；4月，郭嵩焘正式就任驻英国公使。但到7月即遭到国内官员的弹劾，随后又连续被副使刘锡鸿密奏“举报”。不到两年，郭嵩焘即被迫匆匆回国。
个中原因，梁启超当年在《五十年中国进化概论》当中已说得很明白，“光绪二年，有位出使英国大臣郭嵩焘，作了一部游记。里头有一段，大概说，现在的夷狄和从前不同，他们也有二千年的文明。哎哟！可了不得。这部书传到北京，把满朝士大夫的公愤都激动起来了，人人唾骂，……闹到奉旨毁板，才算完事。”
所谓的“游记”，实名叫做《使西纪程》，是郭嵩焘自上海乘船到伦敦五十天的日记，不过两万余字，由他本人整理出来之后抄录寄给总理衙门刻版刊行。结果，这本小书却引起了满朝士大夫们的极度愤慨。著名学者李慈铭如此记载这场风波：“《使西纪程》记道里所见，极意夸饰，大率谓其法度严明，仁义兼至，富强未艾，寰海归心……造此书出，而通商衙门为之刊行，凡有血气者，无不切齿。于是湖北人何金寿以编修为日讲官，出疏严劾之，有诏毁板，而流布已广矣。嵩焘之为此言，诚不知是何肺肝，而为之刻者又何心也!”
