ミナブの学校空爆と「AIへの過度な依存」 — 人間はループの中にいたのか

標的選定システムが学校を「初日の推奨標的」として出力したとき、それはAIの失敗なのか、それともAIを検証装置と取り違えた組織の失敗なのか。

導入

2026年9月22日（UTC）、Hacker Newsのトップに「国防総省、AIへの過度な依存がイランの学校へのミサイル攻撃に寄与したと認める」という題の投稿が上がり、974ポイントを集めた。リンク先はBloombergのグラフィック記事「Inside the AI ‘Kill Chain’ That Destroyed an Iranian School」である。同じ記事は9月18日と19日にも別の題で二度投稿されていた。三日のあいだに同じ記事が三回投稿され、三回目でようやく大きな注目を集めたことになる。

事件そのものは7か月前の出来事だ。2月28日、イラン戦争の初日、イラン南部ホルモズガーン州ミナブのシャジャレ・タイエベ小学校にTomahawk巡航ミサイルが着弾した。The Guardianが伝えた国連事実調査団の報告によれば、この攻撃で民間人156人が死亡し、うち120人が子どもだった。GizmodoはBloombergの報道を要約するなかで「150人以上、うち少なくとも123人が子ども」と書いている。数字は出典ごとに少しずつ異なり、本稿では各数字をその出典のものとしてのみ引用する。

今回新たに出てきたのは原因についての説明である。そしてHacker Newsの題が言っていることと、記事が実際に言っていることのあいだには小さくない隔たりがある。本稿はその隔たりから出発し、「人間がループの中にいる（human in the loop）」という言葉が実際の運用で何を意味していたのかを追う。なお、Bloombergの原文はペイウォールのため直接閲覧できず、それを詳しく要約したGizmodoの記事と、The Guardian、CNNの報道を根拠としていることを先に断っておく。

「国防総省が言った」の中身 — 報じられたことと確定したこと

Hacker Newsの題は「国防総省が言う（Pentagon says）」である。しかしGizmodoがまとめたBloomberg報道の構造は異なる。情報源は「未公表の国防総省内部調査に関わった当局者ら」だ。国防総省の報道官は、事案はなお調査中だとしてそれ以上のコメントを拒んだ。つまり公式発表ではなく、未公表報告書の内容を当局者が記者に伝えたものである。当局者らは、報告書全体は数か月前から事実上完成していたとも述べた。The Guardianもまた、国防総省の調査は「数か月前に結論に達したと理解されている」と書いたが、公表された予備的結果はない。

この区別は些細なものではない。公式報告書であれば、因果の範囲と責任の所在が文書として確定する。匿名当局者の説明は、その文書の一部を選んで伝えたものであり、何が抜け落ちているかは外からは分からない。

その前提のうえで、報じられた失敗の連鎖は三系統ある。GizmodoはMavenへの過度な依存を「Bloombergに説明されたキルチェーンにおける三つの失敗のうちの一つにすぎない」と整理し、残る二つとして誤った情報と古い衛星画像を挙げている。

第一に、データ。米国のデータベースはミナブの敷地を長年にわたり軍事施設として登録していた。しかし商用衛星画像は別のものを示していた。学校を隣接する基地から切り離す塀と独立した出入口の工事は2017年までに完了していたとみられ、2018年の画像には明るく塗られた壁、サッカー場、朝礼の整列位置、遊び場の線が写っている。Bloombergは6月の時点で、ある分析官が2019年に変化に気づいてメモを残したものの、そのシステムは標的選定に使われる主要な情報データベースと接続されていなかったと報じていた。そのメモは攻撃パッケージを組んだ人々には最後まで届かなかった。学校には独自のウェブサイトがあり、Google Mapsにも表示されていた。

第二に、システム。古いデータのせいでイスラム革命防衛隊（IRGC）の施設として分類されていたミナブの敷地は、他の候補とともにMavenに入力され、「初日の推奨標的」として出力された。かつては数時間かかっていた標的リスト作業が数分に圧縮された。当局者らは、一部の利用者がMavenは古い記録や情報間の矛盾を指摘してくれるものと期待していたと述べたが、記事は、なぜ彼らがシステムがそうすると考えたのかは明らかでないと付け加えている。

第三に、組織と速度。政権は圧倒的な開戦攻撃を求め、最初の24時間で1,000を超えるイランの標的が攻撃された。Bloombergの情報源によれば、このペースが追加確認に使える時間を圧縮した。国防総省全体の民間人被害軽減要員はここ数年で約90%減って20人未満となり、中央軍（Centcom）の当該グループは10人から1人になった。ミサイルが発射される前に、そのチームの誰もミナブの敷地を確認していなかった。

Palantir側の立場も報じられている。広報担当者は、同社は「基礎データや情報の欠陥を特定することについて責任を負わない」とし、ソフトウェアに落ち度があったという証拠はないと述べた。Palantirの国防総省契約に詳しい二人は、Mavenに入力される情報の品質に対する一次的な責任は政府にあると話した。同時に、攻撃後にPalantirが「標的を不適格とする要因を見つけるために基礎情報を再検討し、人間のレビューが見落とした可能性のある不整合や不正確さを指摘する」機能を追加したという証言も載っている。

まとめると、今回の報道が確定させたことはほとんどない。報道が示したのは未公表報告書についての当局者の説明であり、その説明によればAIは原因の三本柱の一つである。確定していないことは多い。報告書の原文、個人の責任の所在、二度目の着弾の経緯、そしてMavenが具体的にどんな出力を出し、誰がそれをどう承認したのか。国連事実調査団の結論はこれとは別個のものだ。The Guardianによれば、調査団は米国がこの攻撃を行ったと信じるに足る合理的な根拠があるとし、標的情報を更新せず軍事目標であることを確認しなかったことは「単なる過失を超える」と判断した。米国政府は公には責任を認めていない。

自動化バイアス — 「人間が確認した」が空洞になるとき

この事件で技術的に最も興味深いのは、「一部の利用者はMavenが古い記録や矛盾を指摘してくれると期待していた」という一文である。これはヒューマンファクター研究が長く扱ってきた自動化バイアス（automation bias）の典型的な形だ。自動化された意思決定支援システムがあると、人はシステムが警告しなかったものを問題なしと受け取りやすい。システムの出力を確かめる人ではなく、システムが警告を出すのを待つ人になってしまう。

要点は、期待と設計が食い違っていたことにある。Gizmodoが伝えたPalantir側の説明どおりなら、攻撃当時のMavenには基礎情報を再検討して不適格要因を指摘する機能はなく、それは事後に追加された。システムがやっていないことを、利用者はシステムがやっていると信じていた。「人間がループの中にいる」という構造は保たれていたが、その人間が担っていると思われていた検証は、実際には誰も行っていなかったことになる。人はシステムを信じ、システムは入力データを信じ、入力データは何年も前の分類をそのまま信じていた。各段階が次の段階を検証装置とみなしているあいだに、実際の検証は消えていた。

速度はこの問題を増幅する。数時間かかっていた作業が数分になれば、人が介入できる時間もそれだけ縮む。初日1,000超の標的という規模では、標的一つに割ける人間の注意は非常に薄い。そしてその薄い注意を補うはずの民間人被害軽減チームは10人から1人になり、その1人もミナブを見ていなかった。意思決定支援システムのスループットは上がったのに、その出力を確認する人の数は減った。これは技術の問題というよりキャパシティプランニングの問題である。

同じ週に出たCNNの独自報道は、このパターンが一件にとどまらないことを示している。今年の春、イラン戦争のさなかに、ある特殊作戦軍の分析官がチャットボットを使って情報報告書を作成し、チャットボットは中東にいた中国船籍の船が核兵器計画の部品を運んでいると誤って特定した。分析官は再びAIを使ってその結果を標準的な情報報告書の書式にまとめ、配布した。米軍は船舶の阻止を準備し、二人の情報源によれば武装要員が乗船の準備をしており、軍用機もすでに飛んでいた。作戦の直前になって当局者が掘り下げ、報告書がAIで生成されたものだと判明した。ある情報源は、その報告書は「完全に誤り」で、「危うく戦争を始めるところだった」と語った。

この事例で注目すべきは書式である。AIが出した結論が「軍の当局者が信頼する類の」標準報告書の書式に収まった途端、その結論は出所を失った。信頼は中身ではなく書式に与えられていた。CNNの別の情報源は、「標的選定でのAI利用は明らかに増えているが、人間をループに入れることが民間人の犠牲や味方への誤射をどう防ぐのかについて、実質的な指針はない」と語った。さらに別の情報源の言葉はもっと短い。「AIは悪いアイデアにより早くたどり着かせてくれる。」

Hacker Newsの議論は大きく二方向に分かれた。一方はAIはスケープゴートだとみる。legitsterは、詳細を読むとAIが真の原因というよりスケープゴートに見えると書いた。もはや軍事標的ではないという情報は標的データベースに入らず、標的リストの審査チームは骨抜きにされ、そのチームには相談すらなかった。AIの判断であろうとSQLクエリであろうと結果は同じだっただろう、という指摘である（直接の引用ではなく、コメントの要旨の要約）。もう一方はその二分法自体を退ける。kamranjonは、軍の無能さとAIが誤った標的決定に使われたことは同時に成り立ちうるし、より興味深いのは、AIが無能な人々に本来以上の被害を出させてしまう点だと述べた（直接の引用ではなく、コメントの要旨の要約）。

jtrnは別の角度から問いを投げた。この種の記事にはいつも比較の基準が欠けている、というのだ。最初の24時間の1,000標的の大半をAIが選んだのだとして、同じ作業を人間だけで行ったら学校のような誤爆がどれだけ出ていたかを誰も比べていない、という指摘である（直接の引用ではなく、コメントの要旨の要約）。正当な問いだが、この事件ではその比較は成り立ちにくい。人間だけでは初日1,000標的という速度そのものが不可能だったはずで、その速度要求こそが確認の時間を奪った原因として報じられているからだ。誤り率は同じ条件のもとでしか比べられない。

意思決定支援システムの次の段階 — 何を問うべきか

この事件を「AIが学校を爆撃した」と要約すれば誤りになる。「AIは無関係で人間が問題だった」と要約しても誤りになる。報じられた事実が指しているのは、その中間の構造だ。意思決定支援システムの導入によって処理速度への期待値が上がり、その速度を前提に審査要員が削られ、残った人々はシステムがやっていない検証をシステムがやっていると信じていた。

この構造は軍事領域に限らない。Gizmodoは同じ記事で、フロリダでの顔認識による誤認逮捕の事例にも触れている。自動照合の結果、その州に行ったこともなく400マイル離れた場所で働いていた男性が逮捕され、数か月間拘留され、職と家を失った。共通しているのは、ソフトウェアのスコアが確認の出発点ではなく、確認の代用品として使われたことである。

では、こうしたシステムを導入する組織が問うべきことは何か。報じられた事実から逆算すると、いくつかが見えてくる。

第一に、システムがやることとやらないことの一覧が利用者に明示されているか。ミナブの場合、利用者はMavenが古い記録を指摘してくれると期待していたが、その機能はなかった。「やらないこと」の一覧は「やること」の一覧と同じくらい重要である。

第二に、システムの入力となるデータベースと、そのデータに反証しうる情報とがつながっているか。2019年の分析官のメモは、標的データベースと接続されていないシステムに残された。意思決定支援システムは入力の品質を超えられないし、入力を正す経路が塞がれていれば、どれほど速いシステムも古い分類を速く再生産するだけだ。

第三に、スループットが上がった分だけ審査のキャパシティも増えたか。これが最も居心地の悪い問いである。意思決定支援システム導入の名目はたいてい「同じ人数でより多く」であり、その論理は容易に「より少ない人数で同じだけ」へと滑っていく。ミナブでは数時間の作業が数分になり、民間人被害の審査要員は90%減った。

第四に、AIが出した結論が別の成果物に組み込まれるとき、出所の表示が保たれるか。CNNの船舶の事例では、AIの出力が標準報告書の書式で「洗浄」されることで信頼を得た。出所が消えれば、検証の手がかりも消える。

攻撃後にPalantirが不整合を指摘する機能を追加したという報道は、これらの問いの一部への応答のようにも見える。その機能がすでにいくつかの異常を検出したという証言もある。しかしこれは諸刃の剣だ。システムが古い記録を指摘してくれるようになれば、利用者はいっそう「警告がなければ大丈夫」と信じるようになりうる。自動化バイアスは機能を一つ足すことでは解消しない。警告機能が良くなるほど、警告が出なかったケースへの信頼も一緒に高まるからである。

責任の問題も残る。Hacker Newsの多くのコメントが繰り返した問いは、結局「誰が責任を負うのか」だった。報道によれば、国防総省は報告書を公表しておらず、大統領は3月にはイランの仕業だと述べ、最近では何が起きたのか誰にも言えないだろうと語った。Palantirはデータの責任は政府にあるとする。公式文書がないまま「AIへの過度な依存」という説明だけが先に流れ出れば、その説明は原因分析ではなく責任分散の言葉として機能する危険がある。

結論

今回の報道が確定させたことは、思われているより少ない。Hacker Newsの題は「国防総省が言う」だったが、実際には未公表報告書について当局者が伝えた説明である。その説明によれば、AIへの過度な依存は、古いデータ、圧縮された日程、骨抜きにされた審査チームと並ぶ三系統の失敗の一つだった。報告書の原文も、個人の責任も、二度目の着弾の経緯も、まだ公表されていない。

それでも、報じられた内容だけで明らかになることが一つある。「人間がループの中にいる」という言葉は、その人間が何を検証するのか、それを検証する時間と人員があるのかを併せて語らなければ、何の保証にもならないということだ。ミナブで人間はループの中にいた。ただその人間はシステムが警告してくれると信じており、システムにはその機能がなく、その隙間を埋めるべきチームには一人しか残っていなかった。

あなたの組織が意思決定支援システムを導入するなら、そのシステムが「やらないこと」の一覧を誰が把握しているだろうか。そしてスループットが十倍になったとき、確認する人は何人になっただろうか。

出典: