フランス人技師・ヴェルニー像（横須賀・ヴェルニー公園、提供：高崎氏）

幕府の兵制改革

再度の免職ではあったが、免職は表面的なことだけで、依然小栗は幕府の要務に関係していた。「匏菴十種（ほうあんじゅっしゅ）」（栗本）にこうある。元治２年（慶応元年、1865）３月の頃と記憶している。ある日、小栗上野介（文久２年・1862から上野介）と浅野美作守（みまさかのかみ）とが、自分の横浜の役宅に訪ねて来た。挨拶が終わると、２人は語りだした。

「公儀（幕府）で、旧来の軍制を廃止して、洋式の歩・騎・砲の３兵に編成しなおすことにしたのは、文久２年（1862）のことで、以来４年にもなるが、一向に埒（らち）が明かない。騎兵に馬術を教えるだけ、歩兵・砲兵は『訳本三兵タクチイキ』と首っ引きで、わからないところは蘭学者高畠五郎や軍学者大鳥圭介らに問い合わせたり、推量でやっている有様で、とうてい三兵などとは言えない。われわれ両人は適当な国に頼んで、陸軍教師を迎えて、士官・兵卒を訓練してもらって、しっかりした兵式を定めたいと相談して、ご意見をうかがいにまいった」。

栗本は幕府陸軍の内実を聞いて驚きながら言う。

「拙者が箱館にいます頃、英・仏軍が中国（清）を相手に戦ったことがあります。その時、英国は北海道で蝦夷馬（えぞうま）を多数買い込み、尾を切って軍馬として連れて行きましたので、印象深く覚えています。その後、その数年前に英・仏両国が連合してロシアと戦ってセバストポールを陥れた話を聞きましたので、箱館居留のロシア人に、この両戦争の話を聞きますと、清でも、セバストポールでも、フランス兵の方が勇敢で、いつも先頭を切るのはフランス兵、そのあとに確実に占領するのは英国兵で、英国兵なしのフランス兵だけでは勝利を確保出来ず、フランス兵なしの英国兵だけは敵を破ることは出来ないと、こう語りました。その後、メルメ・デ・カションと交わるようになって、いろいろ各国のことを聞きますと、カションは戦争史を説いて、海軍は英国が強く、陸軍はフランスが強いと結論しました。ご両所が軍事にまるで素人（しろうと）である拙者にただ今のようなことをご相談なさるのは、定めてフランス公使に陸軍教師を雇うことを頼んでくれと仰せられるのでしょう」

「仰せの通りです。骨折っていただきたい」

「引き受けました。ご一緒に公使館へまいりましょう」

しかし小栗ら二人は栗本に一任した。このことを、栗本は外国人に面会することは世間の物議をかもし、一身に危険が及んだり、やろうとする計画も妨害されたりする恐れがあったからであると説明している。

翌日、栗本はフランス公使館に行ってロッシュに会い、陸軍教師の招聘のことを頼んだ。ロッシュは喜んで承諾して、幕府からフランス政府に文書をもって正式に依頼してもらいたい、必ず自分が周旋するであろうと約した。

栗本は小栗ら二人に知らせた。二人は陸軍総裁の老中・松前伊豆守崇広（たかひろ）に上申し、ロッシュの指示した通り文書をもって依頼した。一切は極秘のうちに運ばれた。「世間なほ誰も知る者あらざりき」と、栗本は記している。
陸軍教師が来日するまでにフランス語を覚えさせておかなければ教育にならない。フランス語学校を横浜に開くことになった。校長はカション、助手として公使館の護衛騎兵の騎兵曹長ビュランが務めた。１期生の生徒の中に、小栗の養子又一、栗本の息子貞次郎がいる。

小栗には八面六臂の活躍が求められた。資金の工面ばかりか、造船所の建設、兵制改革、その兵制改革のためにフランス語学校まで設けなければならないのである。

フランスから陸軍士官を招聘ことは、小栗が免職中に実施したのだが、５月になると再度勘定奉行勝手方に復職している。幕府財政の困窮は、小栗以外には処理できる者がいなかった。中でも、新しく取り掛かった横須賀製鉄所の建造といい、陸軍士官を招聘して軍制改革の実を上げることといい、小栗が主唱し彼が中心となって始めたのだ。形式的な免職だったとすれば、復職は当然のことであった。

復職の翌月・閏５月５日に、柴田日向守（ひゅうがのかみ）が、水品楽太郎、富田達三、小花作之助、翻訳官福地源一郎、塩田三郎、定役岡田摂蔵の６人を随員として、横浜を出港して、フランスに向かった。使命は、製鉄所建設の用務、これと関連して生糸専売のための貿易商社設置、陸軍士官招聘の件などであった。