50万回の顔スキャンで逮捕ゼロ — 「誤検知1件」が語ること、語らないこと

逮捕ゼロは技術が失敗した証拠なのか、それとも探すべき人がほとんどいない場所で探したという証拠なのか?

導入

2026年9月29日、Hacker Newsのトップページにガーディアンの記事が一本、519ポイントを集めて上がった。タイトルは「英国の駅で50万回の顔スキャン、逮捕ゼロ、誤検知1件」である。元記事によれば、英国交通警察(BTP)は2026年2月から7月にかけて、ロンドンの主要鉄道駅でリアルタイム顔認識(LFR)の試験運用を行った。この期間に50万を超える顔がスキャンされた。

数字の出所は、Liberty Investigatesが情報公開請求で入手しガーディアンと共有した文書である。18回の配備にかかった機材レンタル費と警察の人件費は320,786ポンド。警察官の時間は100時間近くが費やされた。そして監視対象リスト(watchlist)へのアラートはたった1件鳴り、その1件は誤った識別、つまり誤検知(false positive)だった。逮捕はなかった。

見出しだけを読めば結論は簡単に見える。金と時間を使って何も捕まえられなかったのだから失敗だ、というものだ。Hacker Newsの反応もかなりの部分がその方向だった。しかし数字を少し違う角度から並べ直すと、「逮捕ゼロ」と「誤検知1件」はそれぞれ別の問いへの答えであることが見えてくる。そしてどちらも「この技術は機能するのか」という問いには直接答えていない。本稿では、大規模な生体認証スクリーニングで基準率(base rate)がいかに結果を支配するか、そして監視技術の試験をどう設計すれば評価が可能になるかを考える。

数字が実際に報告していること

まず記事で確認できる事実だけを整理する。

期間: 2026年2月〜7月、6か月
場所: ロンドンの混雑する鉄道駅
配備回数: 18回
スキャンされた顔: 50万以上
費用: 320,786ポンド(機材レンタル + 警察の人員)
警察官の時間: 100時間近く
アラート: 1件、そしてそれは誤検知
逮捕: 0件

ここに記事が付け加えた文脈が二つある。一つは、BTPが先月、試験を4か月延長し地下鉄駅にまで範囲を広げたことだ。BTPは延長以降「確認された陽性アラート」が3件あったが、その人々は性犯罪防止命令(SHPO)や裁判所が課した他の条件を遵守していることが確認された、と述べた。もう一つはBTP報道官の説明である。配備中に暴行、窃盗、凶器所持などで関連する逮捕が何件かあったが、LFRのアラートから直接生じたものではないためLFRの成果データには含めていない、という。報道官はさらに、リストの拡大は「意図的で統制された」形で行われており、データ品質とガバナンスを確保する間はより限定的なリストで始めた、とも語った。

この二つの文脈は数字の意味を大きく変える。延長後の3件は、システムがリスト上の人物を実際に正しく見つけたことを意味する。しかし、その人々は何の違反もしていなかった。正解判定(true positive)が必ずしも逮捕につながるわけではない。「逮捕件数」という指標は、認識精度、リストの構成、そして現場で何をするかという運用方針をひとまとめに混ぜた値なのである。

比較に値する数字がもう一つある。BBCが2026年5月に報じた、ロンドン警視庁(Met)のクロイドンでの試験だ。2025年10月から2026年3月まで、クロイドンの繁華街に固定式カメラを設置して24回運用した。47万人を超える人がカメラの前を通り、逮捕は173件、誤検知は1件だった。誤って示された人物は逮捕されていない。Metは、各配備ごとに24時間以内に作成した「個別の、情報に基づく」リストを使い、運用直後に削除したと説明している。

二つの試験を並べるとこうなる。通過した人数はほぼ同じ(50万対47万)。誤検知も同じく1件。ところが逮捕は0件対173件である。誤検知率が同じなのに的中がここまで分かれるなら、差を生んだ変数は認識エンジンの性能ではない可能性が高い。残る変数は「リストに誰が載っていて、その人々が実際にその前を通ったか」だ。

基準率という分母

大規模スクリーニングの成果は三つの値で決まる。通行人のうちリストに載っている人の割合(有病率、あるいは基準率)、リスト上の人物が通ったときにアラートを出す割合(感度)、リストにない人にアラートを出す割合(誤検知率)である。期待的中数は「通過人数 × 基準率 × 感度」、期待誤検知数は「通過人数 × (1 − 基準率) × 誤検知率」となる。

まず誤検知の側を見る。50万人に1件なら、観測された誤検知率はおよそ100万人あたり2件だ。クロイドンも47万人に1件でほぼ同じである。どちらの試験も誤検知をごく少なく抑えるよう閾値を高く設定していた、と読むのが自然だろう。これは意味のある情報だ。少なくともこの運用設定では、「無実の人が次々と捕まる」というシナリオは数字に現れなかった。

次に的中の側を見る。50万人で的中ゼロという観測は、「基準率 × 感度」の積に上限を与える。事象が0件のときの95%信頼上限をおよそ3/Nとみなす、いわゆる「3のルール」を使うと、3 ÷ 500,000、つまり100万人あたり6人程度になる。クロイドンは47万人で173件、100万人あたり約368件だ。逮捕とアラートは同じものではなく集計方法も違うので厳密な比較ではないが、桁で見れば二つの現場の「見つけうる人の密度」は60倍以上違う。

この計算が言っていることは単純だ。誤検知率をいくら下げても、探している人がほとんど通らない場所では的中は出ない。逆に、基準率が極端に低い場所では、誤検知率がいくら低くてもアラートのかなりの部分が誤検知になる。BTPの6か月はまさにその状態だった。アラート1件のうち1件が誤検知、すなわち陽性的中率(PPV)は0%である。クロイドンは同じ誤検知1件に173件の逮捕が付いたのだから、アラートの大半は当たっていた。同じ技術、同じ誤検知数で、正反対のPPVになる。

基準率を決めるのは二つだ。リストの大きさと構成、そして場所と時間である。記事にはBTPのリストの規模は出てこない。Hacker Newsでjanilowskiは、リストは約450人で交通警察に関連する人物に限定されていた、カメラは公然と表示され回避できる経路があった、稼働は1日3〜6時間だけだった、と書いた。そしてこの運用条件がシステムを失敗するように仕向けたという趣旨を述べている(直接の引用ではなく、コメントの要旨の要約)。これらの数値はガーディアンの記事では確認できず、本稿でも検証できていない。ただし、BTP報道官が「より限定的なリストで始めた」と述べたことは記事にある。リストが小さければ基準率はその分小さくなり、期待的中数は比例して減る。

もう一つの落とし穴は、「50万の顔」が「50万人」ではないかもしれない点だ。Hacker Newsでmrweaselは、同じ人が毎日行き来するので顔の数と人の数は違い、スキャンに足る画像が得られなかったケースも除く必要がある、と指摘した(直接の引用ではなく、コメントの要旨の要約)。blitzarは逆方向から、リバプール・ストリート駅の2日分の平均利用者程度の数字にすぎず、カメラはほとんどの時間止まっていたのだろうと見た(直接の引用ではなく、コメントの要旨の要約)。通勤者が繰り返しスキャンされていたなら、ユニークな人数は50万よりはるかに少なく、したがって「リスト上の人物が一度でも通った確率」も思ったより低い。分母が膨らんでいれば、「50万人を見たのに捕まえられなかった」という印象は実際よりも劇的に映る。

ここまで来ると「技術は問題なく、運用が問題だった」とまとめたくなる。しかしこのデータはそれも証明しない。逮捕ゼロという結果は、少なくとも三つの異なる世界と両立する。

第一に、リスト上の人物がほとんど通らなかった世界。上で見た基準率の説明である。

第二に、リスト上の人物は通ったがシステムが見逃した世界。感度が低い場合だ。誤検知を減らすために閾値を上げれば、感度も一緒に下がる。マスク、帽子、照明、カメラの角度も感度を削る。Hacker Newsでjanilowskiは、自分が指名手配中ならシャツを引き上げるかマスクをするだろうと付け加えた(直接の引用ではなく、コメントの要旨の要約)。

第三に、リスト上の人物がカメラを知って避けた世界。Hacker NewsでMisterMunchkinは、この試験に関わった人を知っているとして、大きな案内板を立て、撮影されない経路まで用意していたのだから犯罪者はそちらを通っただろうと書いた(直接の引用ではなく、コメントの要旨の要約)。Someoneは同じ現象を別様に解釈した。手配者がその駅を避けるようになったのならそれも一種の効果かもしれないが、そもそもそうした人数は少なく、証明も反証も難しい、というものだ(直接の引用ではなく、コメントの要旨の要約)。

重要なのは、この三つの世界を現場の運用データだけでは区別できないということだ。見逃された人は記録に残らない。通らなかった人も記録に残らない。避けた人も同じだ。運用ログに残るのはアラートが鳴った事象だけであり、だから運用ログで測れるのは事実上、誤検知率とPPVだけである。感度、すなわち「いるべき人を見つけたか」は、正解リストがない限り測定できない。

同じ理由で、「誤検知1件」も思ったほど多くを語らない。誤検知1件は「無作為な通行人への誤反応の割合が低い」ことは示すが、その低い割合がすべての人口集団に均等に当てはまるかどうかは示さない。事象が1件では集団別に分けることすらできない。Hacker Newsでfivefiftyは、エセックス警察が研究の結果、黒人を他の集団より多く識別するという理由でLFRの使用を一時停止したというスカイニュースの報道を引いた(直接の引用ではなく、コメントの要旨の要約)。本稿はその報道を直接確認していない。ただ原理上、誤検知の標本が1件の試験には集団間の偏りを検出する統計的な力がない、という点ははっきりしている。

元生体認証・監視カメラコミッショナーのFraser Sampsonが記事で述べたことは、この文脈で読む価値がある。彼は、場所、時間帯、リストの構成、人々が実際にそこにいる可能性など、多くの変数がすべて揃わなければならないと言った。また、店舗での成功とはそうした人が入ってこないことだが、警察にとっての成功とは人を捕まえることであり、その点で今回の試験はあまり実りがなかったように見える、とも述べた。記事は、Sampsonが現在、店舗向け顔認識システムを運営するFacewatchの非常勤取締役であることも併記している。Hacker Newsでpetesergeantは、「誰も入ってこなかったから成功」という店舗側の成功の定義そのものが検証不可能な循環論法だと皮肉った(直接の引用ではなく、コメントの要旨の要約)。この指摘は警察側の指標にもそのまま返ってくる。抑止効果とは、本来観測されない事象を数える行為だからである。

評価できる試験、そして拡大の条件

では、監視技術の試験はどう設計すれば「機能するのか」に答えられるのか。この節は記事の事実ではなく筆者の分析である。

第一に、感度は運用で測るのではなく、仕込んで測るべきだ。同意した志願者をリストに入れ、決められた回数だけ現場を通らせれば、「いるべき人を何回見つけたか」を直接数えられる。これがなければ、逮捕ゼロは永遠に解釈不能な数字のままだ。医療の検診で、感度を確定診断の標本で別途測るのと同じ構造である。

第二に、基準率を事前に推定し、それを成功基準とともに公開すべきだ。「リストN人、予想通過人数M人、したがって期待的中数は何件」という事前計算があれば、0件が期待からどれだけ外れたかを判断できる。事前計算がなければ、事後にどんな結果が出ても「条件が悪かった」「抑止効果があった」という説明が可能になってしまう。Hacker Newsでdgellowが、政府の事業にKPIを付け、達成できなければ元に戻そうと書いたこと(直接の引用ではなく、コメントの要旨の要約)は、この要求を政策の言葉に置き換えたものだ。

第三に、指標を分離すべきだ。認識性能(感度・誤検知率)、運用成果(アラートのうち現場措置につながった割合)、政策成果(犯罪の減少、安心感)は別々の層である。BTPが延長後の3件を「確認された陽性」と報告しつつ、その人々が条件を遵守していたと明かしたのは、認識は正しかったが運用成果はなかった事例だ。クロイドンの「犯罪10.5%減少」は政策成果側の主張だが、対照群なしに一地域の前後だけを比べた数字なら、他の要因を排除するのは難しい。三つの層を一つの数字に混ぜれば、どの層で失敗したのか分からなくなる。

第四に、費用を成果単位に換算すべきだ。320,786ポンドを18回で割ると、配備1回あたり約17,800ポンドになる。逮捕1件あたりの費用は、今回の試験では定義できない(分母が0だからだ)。クロイドン側は記事が費用を明かしていないので計算できない。BBCの記事でBig Brother WatchのJake Hurfurtは、Metの統計は逮捕一件の背後にある多くの警察官の時間と膨大な資源を覆い隠している、と批判した。費用が成果単位で公開されなければ、「従来の警察活動と比べて比例的か」という問いには答えられない。

第五に、運用条件そのものを実験変数として扱うべきだ。リストの規模、稼働時間、カメラの公開の有無、回避経路の提供の有無は、すべて結果を変える変数である。そのうち一部は市民的自由のための安全装置でもある。回避経路をなくせば的中は増えるだろうが、それは「同意できない選別」への移行だ。評価を設計するとは、このトレードオフを明示的な数字として浮かび上がらせることであって、成果のために安全装置を黙って取り払うことではない。

この試験は終わった話ではない。記事によれば、BTPは試験を4か月延長し地下鉄駅へと範囲を広げた。Liberty Investigatesの分析では、イングランドとウェールズの警察の半数以上がすでに街頭でLFRを配備している。Metとロンドン市長室はウェストエンドに固定式LFRカメラを設置すると発表し、Sadiq Khan市長は歩行者専用となったオックスフォード・ストリートでもこの技術を使うと確認した。議会の人権合同委員会は、リアルタイム顔認識の普及を「特に明確なリスクの例」として挙げた。労働党下院議員のBell Ribeiro-Addyは、適切な法的枠組みを含むより強い安全装置が整うまで導入を停止すべきだと求めた。

この流れの中で「逮捕ゼロ」は、両陣営で別々の武器として使われるだろう。反対側は費用対効果がない証拠として、推進側は条件が悪かっただけでリストを広げればよいという根拠として。基準率の算術は双方の主張に警告を発する。リストを広げ稼働時間を延ばせば、的中は増える。同時に誤検知の絶対数も増える。Hacker NewsでLastTrainは、同じ割合を5,000万人規模に広げれば、やはり的中ゼロで誤検知100件になるという計算を示した(直接の引用ではなく、コメントの要旨の要約)。計算自体は100万人あたり2件の誤検知率をそのまま拡大したもので正しいが、的中ゼロという前提はリストと場所がそのままの場合にしか成り立たない。核心は、拡大が誤検知の「割合」はそのままに「件数」を増やすという点だ。そしてリストを広げれば基準率は上がる代わりに、リストに載る基準が緩む。「指名手配者」から「裁判所の条件を課された人」へ、さらにその先へ。

エンジニアがここから持ち帰るべき教訓は、監視技術に限らない。不正検知、スパムフィルタ、セキュリティの異常検知、医療のスクリーニング検査は、すべて同じ構造を共有している。基準率が極端に低い問題では、「誤検知が少ない」という事実は適合率を保証せず、「的中がない」という事実は感度について何も語らない。運用ログはアラートが鳴った事象しか記録しないので、見逃しを測るには正解を仕込む設計が別に必要になる。そして成功基準は、結果を見る前に決めておかねばならない。

結論

ロンドンの鉄道駅での6か月の試験は、「顔認識は機能しない」という証拠でも、「機能する」という証拠でもない。この試験が示したのは、誤検知率が非常に低い設定で、探すべき人がほとんど通らない条件のもとで運用したという事実である。同じ年、クロイドンはほぼ同じ通行量と同じ誤検知1件で173件の逮捕を出した。二つの結果の差はエンジンではなく基準率、すなわちリストと場所と時間の関数である。

「誤検知1件」は、無作為な通行人への誤認の割合が低いことを語る。しかし、見逃した人の数、集団間の偏り、抑止効果は語らない。それらはもともと運用ログに残らない事象だからだ。測るには、志願者を仕込んだ感度測定、事前に公開した基準率の推定と成功基準、層ごとに分離した指標が必要になる。

延長された試験が地下鉄へと拡大されるいま、問うべきは「何人捕まえたか」ではない。「捕まえられたはずの人のうち何人を捕まえ、その代償として何人を誤って指し示し、その基準はいつ決めたのか」である。この問いに数字で答えられない試験は、拡大の根拠にはなりえない。

出典: