甚左衛門の一行を異国船へ送り出したのち、図書頭の胸には別の不安が膨らんでいた。ドゥーフの言う通り水や食料を渡せば、異国船はそのまま港を出てしまうのではないか。違法に港内へ押し入り、迎えに出たオランダ人二人を白刃で奪い去った――それを何ひとつ咎めぬまま帰してよいのか。このまま逃げられれば、長崎奉行として申し開きが立たない。この国の威信を地に落とすことになる。
奉行所の内も外も、恐怖に揺れていた。
異国船の小艇が港内を勝手に動き回り、市中には流言が走った。大黒町あたりに異人が上陸したという噂が飛び交い、佐賀屋敷への連絡を命じられた吉仲勇蔵は、任務を果たさぬまま、夢遊病者のように街をさまよっていた。それを上條徳右衛門に見咎められたのは、つい先刻のことである。
だが、震えていたのは軽輩ばかりではなかった。
両御番所が手薄であるという。督促の使者を立てねばならぬ。図書頭は中村継次郎にその役を命じた。岩原目付屋敷の支配勘定――長崎奉行を監察する立場の幕臣である。中村は応じなかった。
差込を持参しておりませぬゆえ、参上いたしかねます――そう答えた。
図書頭は言った。それは事欠けの事、使い古しではあるが自分の差込を貸してやろう、と。そして自らの差込を取り寄せ、差し出した。奉行が、命じた相手に己の刀を渡そうとしている。
それでも中村は動かなかった。
江戸を発つ折、仮養子を願い出ましたが、その者がいまだ見当たりませぬ。願書を出したままにしてあり、万一のことあらば相済みませぬゆえ――と、別の理由を並べて、行こうとしない。
その場には大勢の者がいた。中村の逃げ口上を見て、人々は非難し、なかには大いに笑う者もいた（崎陽日録21ｐ）。長崎奉行を監察する立場の幕臣が、刀を貸すとまで言われながら、なお口実を重ねて任務を逃れていく。その姿を、皆が見ていた。
用部屋日記もこの一件を書き留めている。検使を中村継次郎に命じたところ答えが宜しからず、当人に役目を務める覚悟がなく、着るものも手薄だというので徳右衛門が衣類を貸し与えたが、本人はかえって迷惑そうであった、と（通航一覧419ｐ）。
長崎奉行を監察する立場の幕臣でさえ、この有様であった。
図書頭はかつて、こう言っていた。
『日頃猪武者と呼ばれる者もこの時に臆している いわんや猪武者で無い者はなおさらである』
猪武者と呼ばれる豪の者でさえ、この期に及んで臆している。ましてや、そう呼ばれもせぬ者は言うまでもない――その言葉が、いま目の前で証されていた。
長崎中が震えていた。恐怖は市井の噂から奉行所の中枢にまで染み入り、刀を貸すと言われても動かぬ者を生んでいた。