6月7日上午10时，留在江户待命的福西源兵卫带着幕府的决策回到了浦贺。香山荣左卫门只得再次登上萨斯喀那号旗舰。
香山这次的任务是正式转达日本政府的答复。于是，香山领着四五十人和两名翻译堀达之助、蜂须贺德四郎乘船靠近旗舰。
不出所料，美国人照例只准许香山和两名翻译上船。
佩里依然没有露面，一副高高在上、不可侵犯的架势。参加会谈的是舰长布卡南、参谋长亚当斯、副官司孔蒂和荷兰语翻译波特曼。
香山带着几分讥讽的口气说，鉴于尊贵的美国总统的国书不容怠慢，我国政府决定破例在此地接受国书。
“接受国书的地点是久里浜，时间是后天6月9日，具体细节由双方商定。”
香山刚一说完，亚当斯立即追问道：
“佩里司令是我国级别最高的官员，负责执掌美国政务。日方必须从江户派遣一个身份相当的官员接受国书。否则，我们绝不会将国书交给身份不相称的浦贺奉行。这件事，你们是如何安排的？”
言语之间，对浦贺奉行的不敬表露无遗。
香山荣左卫门立即答道：
“关于此事，日本政府已经有所考虑，届时，一位与佩里司令身份相当的高官将前来接受国书。对此，请各位尽管放心。”
其实，江户早就预料到对方将提出这样的要求，因此准备派井户石见守和大学头林韑作为日本政府的高级官员前去浦贺。
大学头和奉行身份原本并无多大区别，幕府的目的就是用这种方法糊弄一下蛮不讲理的美国。亚当斯参谋长点点头，脸上露出满意的神情。接着，他拿出事先准备好的国书的翻译副本和一封信函，给香山又出了一个意想不到的难题：
“作为政府官员，我们都明白这是给贵国政府的书信，这是国书的副本。国书的原件必须等到9日那天当面递交给贵国政府派来的高官。你们看完国书的副本之后，必须在接受国书的那天准备一封回信。那样，我们此行的使命就算彻底完成了。”
紧接着，亚当斯冷冷地说道：
“这样一来，我们也不必劳师远征再来打扰贵国了。”
香山荣左卫门听得一头雾水。
幕府慑于他们的威逼，不惜违反国法，硬着头皮答应在浦贺接受国书。哪知道，这帮强盗并未打算就此罢休。
现在，他们又得寸进尺，逼着日本政府立刻给予答复。好不容易弄懂对方的意图之后，香山荣左卫门全身的血液腾地涌上了头。
如果现在收下副本，知道了国书的内容，势必就要在接受国书时给对方一个交代。
本来，幕府害怕江户遭到炮轰，才忍气吞声同意接受国书。然而，对方步步紧逼，现在又要求幕府立即予以答复。这对幕府来说又将是一个怎样的打击呢？
无论是有意还是无意，恃强凌弱都是不可饶恕的罪行！
“这件事恕难从命。”
香山荣左卫门决心赔上性命也要据理力争。不，无论如何，都不能答应对方的要求。
“既然你们早有此意，为何之前不说清楚？事到如今，才提出这样的要求，完全违反了双方约定，我们绝不能接受。”
“双方的约定，什么约定？”
“你们从未说过，原件和副本要分开递交。想要我们接受副本，就只能和原件一起递交。而且，这一次我们只能暂且收下国书，以后才能答复贵方。”
“我实在想不通，明明去年就曾通报贵国政府我们今年来访一事。你们做决定需要那么久吗？”
“我们可从来没答应过这件事。在此地接受外国国书，是我国破天荒第一次。你们的要求，实在有违常理。”
“看来，你们是不打算同我国签订条约喽？不签订条约也行，干脆一战决胜负，这样更简单。既然您不知道我们曾预先通报过贵方，那我们就去江户，与贵国政府要人直接谈判吧。”
这时的香山荣左卫门慢慢地冷静了下来。
他决心不再向对方“暴行”妥协，在他面前的就是一群野蛮且不可理喻的黄口小儿而已。
“你们效忠于贵国总统，情有可原。不过，日本政府是根本不会马上答复贵方的。想要得到答复，只有一个方法。那就是，我们之前达成的承诺一切作废，双方重新进行交涉。您试想一下，改变国家既有的方针，绝非一朝一夕便能决定。因此，这次只能同时接受国书的原件和副件，择日再给贵方答复……否则，交涉无法再继续下去。”
美国人恼羞成怒，又拿出他们威逼恫吓的伎俩。
但是，香山荣左卫门此时心意已决，丝毫不容动摇。如果接受如此无理的要求，他就只剩下切腹自决一条路了。
见香山寸步不让，美国人重新商议一番后，说：
“久里浜太远，得换个近一些的地方。”
香山荣左卫门不动声色地笑了笑。见对方让步，他的心中踏实了不少。
“看来，贵方是不愿离开你们的军舰。不过，敬请放心，日本国民一向重义守信，把信用二字看得比自己的生命还重要。况且，选择久里浜，也是出于对贵国的尊重。我国高官特意从江户赶来接受国书。随便选择一个偏僻之地接受贵国重要的国书，实在不成体统。我方将在大海之滨、苍野之上修建馆舍，举行隆重的仪式接受贵国国书，只有久里浜最为合适。目前，我方正在抓紧修建馆舍，地点不容更改，务必请你们前往久里浜会见。”
说完，他又像戏耍孩子似的说道：
“不过，如果你们还有什么担心，尽管直说无妨。”
短短一句话充分显示了香山作为外交官的技巧。
对方见自己内心的恐惧被人识破，只好答应：
“好吧，只能如此了。”
香山荣左卫门想为今后的答复争取主动，忍不住又说了一句，不料却弄巧成拙。
“至于答复的地点，我也曾多次向贵方说明，我国政府规定只能在长崎答复，而不是这里。届时，我国将通过与日本建交的荷兰或中国转达我们的答复。对此，请贵方理解。”
一听此话，对方开始七嘴八舌地议论开来。
后来，翻译转述说，佩里司令绝不会前往长崎，更不能接受通过荷兰或中国转交回信。佩里提督带来的国书，只能交给日本皇帝或外交长官。
因此，日本必须像美国一样，按照外交礼节派一个与佩里司令身份相当的外交官亲手递交答复。
布卡南还补充道：
“司令要求贵国在两三日之内回信。”
“至于递交回信的地点，只能在军舰停靠的地点附近。如果发生有辱美国国格的事，司令绝对不能容忍，一切后果责任都在日方。”
香山荣左卫门不想在这个问题上继续纠缠下去。
他非常清楚，对方可能还会继续提出无理要求，因此，只要知道对方的想法就足够了。
他本能地感到，暂且接受国书，以后总有办法说服对方。对方再怎么蛮不讲理，一旦开战，他们也不可能毫发无伤。香山知道，他的对手也害怕战争。
香山先回到奉行衙门，下午又登上了萨斯喀那号，协商国书交接仪式当天的细节，会谈的气氛倒是十分融洽。
不仅如此，更加令人感到意外的是，香山荣左卫门的礼貌、沉着和涵养似乎赢得了美国人的尊重，他们开始变得友好起来。
事务性的协商结束之后，对方专门设宴款待香山荣左卫门和两位翻译，以示慰劳。
香山一边品尝着白兰地和威士忌，一边询问美国的政治体制，还不时地发表自己的见解。
令美国人大为惊奇的是，香山在他们拿出的地球仪上一一指出了世界各国的重要城市，不但说出这些城市的名字，甚至还恰到好处地问起正在建设中的巴拿马运河的进展。
会见结束后，美国人带着三人参观了军舰。当然，佩里没有出现，交涉就不算圆满结束，也不能保证他们会老老实实地撤走。
6月7日，美国军舰即将潜入江户湾的消息再次加剧了江户城内的不安情绪，就连浦贺城里的一些居民也开始纷纷逃往外地避难。
一入夜，御固四家的营房里便熄了灯。
江户和浦贺在惶恐不安中送走了6月7日的夜晚，迎来了6月8日。
