1880年3月，杨守敬在北京参加会试，榜发不中，便于4月携眷从北京出发，经天津到上海东渡扶桑，应何子峨钦使之召，赴驻日使馆任职。这时，何钦使为调随员与副使张斯桂不合，开始有消息说裁副使，结果下来正副使都换，接任的钦使是许景澄。许钦使同意纳杨守敬为随员，但许在赴任途中到达上海，因家人出了丧事，就回转去了。到了1881年正月，黎庶昌奉调充任驻日钦使，他与何子峨、杨守敬都不相识。黎庶昌还在英国没有到任，杨守敬在日焦灼万分，一是出门已两年。二是弟弟先三去年病故，黎庶昌又还在伦敦，自己是否留馆任职尚不清楚。使人问张斯桂副使，张大笑道：“吾闻杨君楚中名土，何君招之来以为上客，吾何敢以随员屈之。早知杨守敬君肯就此席，何不言之？”于是出奏。待黎庶昌到日上任，使馆自参赞以下一人不留，唯留杨守敬与长崎领事余君畴。黎庶昌到达横滨，何子峨认为杨守敬是黎公奉调之人，便一齐到横滨去接待。到横滨见过国内来的人，发现故人张廉卿（格创）的儿子张庐沅也在，并交给杨守敬一封信，是张裕钊嘱托杨守敬为他管教其子的。这时，杨守敬知道张裕钊与黎胜昌是儿女姻家，张庐沅是黎庶昌的女婿，黎庶昌所以奏调杨守敬，是张裕钊向黎庶昌推荐的。杨守敬接待黎庶昌以后即回东京，张庐沅也随往。第二天，黎庶昌人使馆，说了些不中听的话，认为杨守敬与张庐沅先入使馆，必定有私。杨守敬秉性方严，闻听后很不满意。便对黎庶昌申辩说，张庐沅是我同乡好友张廉卿的儿子，张廉卿有信要庐沅交给我，托我管教他的儿子。我回使馆，庐沅要与我同往，我怎么好拒绝呢？我杨守敬与黎公素不相识，廉卿向你推荐介绍我的为人和生平，你同意了才留下我。今天初次相见，就说些坏我名声的话，你是钦使，大权在握，一手拿着朝廷要人的计划，一手卡住别人的喉咙，不像有识之士所为！我杨守敬请求辞职，不多说了。杨守敬随即收拾行李就要回国去。黎庶昌知道自己说错了，便去找何子峨，承认自己的错，要何子峨向杨守敬解释，留杨守敬在使馆。何子峨知道杨守敬为人耿直，素怀气节，他要走，你要留，别人劝说不好的，是你说错了，就要当面向他认错，求得他的谅解。黎庶昌只好亲自找杨守敬赔礼道歉，当面讲过，并说；来日没有帮助办事的人，拟定请你鼎力相助，昨天卤莽，得罪于你，请君原谅我。后来杨守敬询问同来的随员，知道了黎的为人，又将此事跟何子峨讲了，何子峨劝杨守敬留下，以观其后，杨守敬才留下来。到了黎庶昌与众随员谈话时，别人都站着回话，而杨守敬偏偏坐着谈，黎庶昌钦使也没说二话。后来得知黎庶昌不是城府之人，因语言不检，顶撞不校，且常受扶制，又不善计算，往往吃亏而不敢说。黎庶昌见杨守敬在开始写《日本访书志》，很受感动，想与他合作刻《古逸丛书》。杨守敬想，既然答应留下，便要勤奋工作才是，这时就答应了黎庶昌的提议，并决心全力以赴地去完成这永古千秋的好事。杨守敬天天到市上去物色古书，这时得到日本树轰立之的《经籍访古志》抄本，按目索贿，凡能购的，不惜重值，十有八九购到了手，还购到了几百种轰立之目录没有载的书，以医书为最多，古文字类的书次之。于是由黎庶昌负责选择到刻书人，杨守敬一人负责办理。杨守敬白天要与刻工磋磨刻的好坏．又要接待日本文化界人士，晚上要按书，没有一刻安宁过。日本对此感到惊诧，上新闻报中。这时与杨守敬往来最为密切的日本友人有岩谷修一六、日下部东作（鸣鹤）、冈千振衣等。就在这一年，石印《初辑表宇贞石图》完成。

　　1883年，部选杨守敬为黄冈县教谕，黎庶昌以公文告知湖北部誉，说他在日有经手事件，黄冈教谕暂请人代理。这年，他仍留使馆负责刻书事。日本刻书匠不敢马虎，反复琢磨，尤其是木村嘉平艺最精，一个字有时修改补刻数次，《谷梁传》一部无一笔异形。传到苏州，尚书潘伯寅（祖荫）、李梅生见后，惊叹不绝，说是自家以来所没有过的。日本人佩服杨守敬精于鉴赏的水平，所以每刻一书，先选择刻艺最高的为准绳，大家模仿他的笔法写成，然后动工刻，所以虽然刻艺差一点的也有虎贲中郎之似。虽然这样，但杨守敬每到店中见了工人正在刻的板，也能分出好与差来。有一天，杨守散到了刻字店，十八个工人都在，店主人说：我国工人皆苦于先生眼力之精，不能一毫假借。今此十八人中有一领袖，先生试以十八板阅之，谁为领袖所刻？如不误，则真我国所未有矣。杨守敌不慌不忙，对店主人说：此十八艺都选择过，手艺差不多，现在选出哪一个艺最精，未必能像市上测字，以鹊啄字，百不失一，若错了，请大家不见笑。杨守敬说完巡视再三，终于抽出一块板，向着十八工匠说，此当是你们的领袖所刻。这时并排坐的十八个工匠呼地起立，掌声如雷，经久不息。第二天新闻出，称杨守敬为中国之奇异人才。杨守敬完成《辑古逸丛书》时与黎庶昌议定，每部由杨守敬代作一跋，不署杨守敬名，黎庶昌却说，我自有我之跋，君自跋可也。这样，原本《玉篇》跋，各成一篇刻了。黎庶昌寄给潘伯寅尚书看，伯寅尚书回信说，君既嘱杨君任刻书，即请杨君代作跋，何必以空文为重俦？黎庶昌看后，觉得羞愧，以后就没有自作跋了，也不要杨守敬作跋了。杨守敬写好的跋只好放下。所以，以后《玉烛宝典》、《正评论语史略》都没有载跋，只有札记。到1884年，《古逸丛书）已成，督印百部。黎庶昌赠给当时名声显裁人士，都称赞为精绝。所刻之书，要典详尽，如《蔡刻杜诗》、《庄子注流》，亦载《道藏辑要》中，而慧琳《一切经音义》、杨上善《太素经》等书皆未刊，颇为遣憾，因为黎庶昌作主，未能尽如杨守敬意。

　 这年四月，杨守敬差满，得家信母亲生病，要迅速回国。五月，同日本友人冈千仞父子及书估王惕斋至上海。李梅生知道他到了上海，邀他到苏州一会，与冈千仞同到苏州，又到顾子山家，纵观李梅生与顾子山两家所藏。冈千仞想游杭州，杨守敬因母亲生病需急回。回国后，杨守敬奉命到黄冈任教谕，黎庶昌向朝廷出奏，说杨守敬学问优长，与东土人士交往甚有声誉，请以知县遇，缺即选，并加五品衔。

　　杨守敬在中国驻日本大使馆工作的时间短暂，仅仅五个年头，这在历史的长河中只算得上一瞬间，并且工作的岗位非常平凡，然而做出的业绩和对两国人民的贡献，却永远记载在中国和日本两个国家的历史功劳簿上，永远留在中国和日本人民的心间。