Гошкевич прожил в Хакодате семь долгих лет. Он сказал Японии «прощай» 21 апреля 1865 г., через несколько месяцев после смерти жены, 43-летней Елизаветы Стефановны. Вероятно, это и стало причиной его отъезда. Время, которое Гошкевич провел в Японии, простым не назовешь. Увлекательная поначалу новизна впечатлений вскоре сменилась монотонной и напряженной работой. Обстановка в те годы не отличалась мирным характером. То и дело возникала борьба между сторонниками нового и старого, часто случались нападения на европейцев, в том числе и дипломатов. Не был исключением и провинциальный Хакодате. Деятельность же консула Гошкевича вызывала особую ненависть тех, кто противился новым веяниям в Японии, и жизни его нередко угрожала опасность. Удара самурайского меча можно было ждать в любой момент.
Да, удалось сделать многое: построены консульский дом, морской госпиталь, православная церковь, открылась школа русского языка, организовано подсобное хозяйство в деревне Камида. Гошкевич обучил японцев фотографии, шитью одежды европейского покроя, постройке европейских домов, выпечке хлеба, изготовлению молочных продуктов, рассказал о ценностях православной религии — чем только ни приходилось заниматься консулу.
Во время пребывания в Японии Гошкевич вел систематические наблюдениями за природой, составлял метеорологические сводки, собирал коллекции флоры и фауны. Результаты исследований Гошкевича публиковались в изданиях Главной физической обсерватории в Петербурге и Музея Императорской академии наук. Именем Гошкевича названы описанные им неизвестные виды насекомых.
Гошкевич понимал: как бы он ни убеждал японцев, что Россия хорошо относится к их стране, нужно, чтобы японцы сами в этом убедились. Поэтому он возлагал большие надежды на молодых японцев, которые могли бы получить образование в России. Перед отъездом на родину Гошкевич предложил японскому правительству послать нескольких юношей учиться в Петербург. С этим согласились и предоставили право самому консулу вместе с губернатором Хакодате сделать выбор среди молодых людей в этом городе. Будущих студентов перед отъездом напутствовал отец Николай, который писал Гошкевичу: «Они в России будут больше всего под Вашим влиянием; я дал им рекомендательные письма к некоторым из наших духовных; пожалуйста, сделайте, чтобы они не пренебрегли этими знакомствами; если не обратить, то хотя бы расположить их к христианству, — и это бы дало важные шансы нам в Японии».
После отъезда Гошкевича отец Николай оставался связующим звеном между ним и жителями Хакодате. По просьбе японских властей он просил Иосифа Антоновича присылать словари, учебники по навигации, горному и военному делу, географии, физике и истории. Ими пользовались не только в Хакодате, но и отправляли в Сендай. Гошкевич присылал также учебники для русской школы отца Николая. В свою очередь священник отправлял Гошкевичу японские книги и карты.
После отъезда из Японии Гошкевич тяготился службой в Петербурге и хотел отдать все силы завершению работ, начатых еще в Стране восходящего солнца. В ноябре 1867 г. он ушел в отставку и покинул столицу. Отец Николай писал по этому поводу: «Отблагодарили Вас за Ваши заслуги, за неисчислимые труды и лишения!.. Вас не ценят там, зато ценят здесь: иностранцы не расстаются с мыслью, что Вы приедете Министром в Японию; японцы говорят: «Нет, уже такому консула не бывать здесь, как был русский консул». Буквально во всей Японии знают и уважают Вас, — говорю на основании фактов; видел я людей здесь, которые приезжали издалека собственно, чтобы увидеть Вас, как знаменитость… Простите, пожалуйста, что я пишу Вам откровенно все это. Но я хочу лишь сказать Вам не мучиться от придирок чиновников, вовсе не составляющих ни Правительства, ни России, когда Вы, исполнявший миссию Правительства и России, имеете полное право утешаться сознанием, что блистательно исполнили Вашу миссию».
Г ошкевич поселился в своем имении Мали в Виленской губернии. Наладилась семейная жизнь: он женился второй раз. Бывший дипломат вынашивал план издания журнала, посвященного Японии, и продолжал работать над подготовкой нового издания своего «Японско-русского словаря». Много времени уходило и на рукопись «О корнях японского языка». Увы, ему не суждено было увидеть эту работу изданной: 5 октября 1875 г. Иосиф Антонович Гошкевич скончался. Его труд был опубликован в 1899 г. в Вильно. В этой работе, как и во всех других исследованиях, Гошкевич тепло отзывался о японцах: «Японский народ, недавно почти насильно втолкнутый в семью цивилизованного европейского мира, давно имел право на это место по внутреннему родству. Не потому ли и проявляет он ту удивляющую всех энергию, то стремление к цивилизации…»
Большая роль в понимании двух стран отводилась российским военно-морским агентам, говоря современным языком, военно-морских атташе. Первым стал Павел Николаевич Назимов. Военно-морские силы Хакодате составляли тогда три паровые корвета, вооруженные десятью малыми орудиями, и одна паровая яхта. Но Назимов видел, что японцы поразительно быстро учатся военному искусству у иностранцев. Залогом их успеха были природная настойчивость и сметливость. Назимов служил в Хакодате до марта 1861 г. Затем он плавал старшим офицером на фрегате «Александр Невский», служил в кораблестроительном департаменте, командовал клипером «Абрек» и корветом «Витязь», с которым в 1870–1874 гг. совершил кругосветное плавание, в ходе которого вновь посетил в Японии. Довелось ему бывать здесь и позднее: командуя «Мининым», когда получил из рук японского императора орден Восходящего солнца 4-й степени, и еще раз в 1891 г., сопровождая в плавании цесаревича Николая Александровича. В 1892 г. вице-адмирала Назимова перевели в Санкт-Петербург на должность начальника Главного гидрографического управления. Через шесть лет он уволился в отставку по болезни в чине полного адмирала, а спустя еще четыре года, 11 декабря 1902 г., скончался. Его похоронили на Волковом кладбище в Санкт-Петербурге.
После отъезда Назимова военно-морским агентом в Хакодате стал капитан-лейтенант Павел Михайлович Костерев, прибывший в 1862 г. «Костерев, — писал отец Николай Гошкевичу, — перессорился, кроме меня, Бюцова и кое-кого еще, со всеми в Хакодате. Была сильная перепалка! На него кто-то распустил слух, что он обругал всех купцов здесь ворами и мошенниками, а консулов ослами.
С ним перестали кланяться. Он разыскивает, кто распустил. Суды были, узнал он, кто, но в продолжение дела — еще больше разошелся с обществом…Ждет не дождется времени уехать в Россию».
Из вышеприведенного письма вовсе не следует, что этот офицер был лишен положительных качеств и ничем, кроме скандалов, не проявил себя на своем посту. При Костереве на портовом форте (Hakodate Benten battery) была установлена батарея из пушек фрегата «Диана». Они находились там до 1868 г., пока во время гражданской войны в Японии их не переместили в другое место. Позднее русские орудия установили в городском парке Хакодате. По приглашению японских властей русский офицер преподавал в морском училище в Хакодате, обучая японцев основам астрономии, мореплавания, кораблестроения, артиллерии и фортификации.
Кроме того, Костерев нашел японца-камнетеса, который поставил каменные плиты на могильных холмиках русского кладбища, к тому времени почти сравнявшихся с землей. Вероятно, в дальнейшем отец Николай изменил мнение о нем. Во всяком случае, позднее он писал: «Встреча с Костеревым много значила для меня. Он появился в Хакодате в один год со мной. Но так получилось, что он часто отлучался. Уходил на судах эскадры в плавание… Странное дело, несколько лет рука об руку рядом, а поговорить по душам и приглядеться к нему — не выходило как-то. Может, поэтому я так и не понял, что он за человек? От консульских служак наслышан, что Костеров — храбрец из храбрецов, получил ранение в Синопском морском сражении на «Императрице Марии» в чине мичмана, был флаг-офицером у знаменитого адмирала Нахимова. Кавалер. Награжден орденом Св. Анны 3-й степени с бантом. И печется он о памятниках усопшим матросам не из-за карьеры, а по сердечной воле своей. Это последняя его дань морякам, которые, как и он, защищали Севастополь на бастионах… Сам Костерев командовал батареей на 2-м бастионе. Но Богу было так угодно, что вчерашние матросы-черноморцы стали балтийцами, а нынче — тихоокеанцы… И нашли свой последний приют в Хакодате. Кто же о них позаботится, если не свой брат-моряк?»
На первый взгляд, с открытием Русской дипломатической миссии в Токио роль Хакодате стала уменьшаться. В то же время этот город сохранял большое значение в отношениях между русским Дальним Востоком и Японией. Суда, которые шли на Камчатку или возвращались в Россию, продолжали останавливаться в Хакодате. Русские военные корабли по-прежнему часто приходили сюда на зимовку. В городе действовал православный приход, игравший большую роль в распространении русской культуры и русского языка.