小栗胸像（高崎市・東善寺）

上州権田村に隠棲

罷免された小栗は同年1月28日、幕府へ正式に「上州（現群馬県）群馬郡権田村への土着願書」を差し出した。忠順は権田村隠棲にあたって、従来の知行地からの収入に頼らない新しい生き方を考えていた。小栗は仮住まいを権田村の曹洞宗東善寺とした。山間僻地の権田村選んだ要因に小栗家と権田村民との間に長年にわたって代々培われたつながりの強さがあった。東善寺は、同村が小栗家の知行地になるとすぐ、当代の政重は同寺に多額の寄付をし、同寺では背後の山を削って境内を広げ石垣を築いて伽藍（がらん）を整備した。権田村は榛名山の西麓、烏川上流の山間にあり、いったん事あれば数カ月は支えることが出来る要害の地があり、そこに居所を構えることができるという利点もあった。

江戸・駿河台の小栗屋敷を出た権田村の若者たちは、洋服を着てズボンをはき、頭はザンギリ、足に革靴を履くこのころ最新の洋装で、幕府のフランス式軍事訓練を受けていた。若者たちは「歩兵」として「小栗日記」に登場する。この時16人いた歩兵や多くの村人が、後に小栗の危難に際してある者はその死に殉じ、ある者は小栗夫人・母堂を守って越後・会津への逃避行に付き添い、あるいは館林の寺院から忠順父子の首級を盗み取り返すといた行動をとっている。

上州への移住準備があわただしく進められ、1カ月後の2月28日に江戸を出発すると、桶川、深谷、高崎と泊まり、3月1日午後7時過ぎ東善寺に到着した。この時江戸から移ったのは、
・小栗上野介忠順　42歳
・妻・道子　30歳
・母・邦子　63歳
・小栗又一   21歳（忠道、駒井甲斐守朝温の次男、養女鉞子＜よきこ＞の夫）
・養女・鉞子15歳
＜家臣＞
・塚本真彦（まひこ）　37歳（用人）
・荒川祐蔵　36歳（遣米使節従者として世界一周）
・渡辺太三郎　20歳
・塚本貢　27歳
・武笠（むかさ）銀之助　16歳
・沓掛藤五郎　25歳
・池田伝三郎　20歳
忠順、家臣、家族一行は村人たちに温かく迎えられる。ところが落ち着く間もなく、翌2日、後を追うように打ちこわしの暴徒が既に隣村・三ノ倉村まで押し寄せて来ているという情報が入る。
　　　　　　　　　　　　　　　　　◇
忠順が権田村へ引き移るに際して大量の荷物が運ばれた。小栗一家と江戸から随従した家臣らの家財だけでもかなりのものとなる。長持や行李、漬物樽などに入れられたたくさんの引越し荷物は、世情不安な当時にあって「軍用金」の噂を生み、しかも最後の勘定奉行として乏しい幕府財政をやりくりしていた手腕が、かえって巨額の金銀を自由にできたという想像（妄想）を生む。ぶちこわしの徒党も金目当てに押しかけて来た。

4日の朝7時、三ノ倉宿に集合の時、打ちこわし勢はそれぞれ米を渡され、タスキ用の布を分け、気勢を挙げて権田へ押しかけた。烏川を押し渡り、田んぼに畳を並べて後ろに隠れつつ権田へ迫った。前夜、磯十郎が戻った時手はずを整えていた小栗方は、道子夫人らを塚本真彦の家族らと共に武笠銀介、佐藤藤七をつけて寺の裏手の村に避難させると、反撃に移った。

烏川を渡りだした暴徒を望遠鏡でのぞいていた忠順は、烏合の衆が攻めてくる様子に、「傷つけるな、おどして追い払え」と指示した。暴徒が鉄砲を撃ちかけてくるので寺の畳を全部積み上げて防いだ。烏合の衆の暴徒に対して、小栗方は、フランス式軍事訓練を受けた子息又一や歩兵16人がいて組織的な戦闘には慣れていた。とくに権田村出身の歩兵・佐藤銀十郎の戦いぶりはめざましく、的確に銃を撃って暴徒を倒した。2000人にのぼる暴徒を追い払うと、暴徒に与した隣の村々へ詰問の使者を送った。夜に入って4カ村の村役人が詫びのため羽織袴でやってきた。