미나브 학교 공습과 「AI 과의존」 — 사람은 루프 안에 있었는가

표적 선정 시스템이 학교를 「1일차 추천 표적」으로 내놓았을 때, 그것은 AI의 실패인가, 아니면 AI를 검증 장치로 착각하게 만든 조직의 실패인가?

도입

2026년 9월 22일(UTC) 해커뉴스 1면에 「국방부, AI 과의존이 이란 학교 미사일 공격에 기여했다고 밝혀」라는 제목의 글이 올라와 974점을 받았다. 링크된 것은 Bloomberg의 그래픽 기사 「Inside the AI ‘Kill Chain’ That Destroyed an Iranian School」로, 같은 기사는 이미 9월 18일과 19일에도 다른 제목으로 두 차례 제출된 바 있다. 사흘 사이 같은 기사가 세 번 올라왔고, 세 번째에야 크게 주목받았다.

사건 자체는 이미 7개월 전의 일이다. 2월 28일, 이란 전쟁 첫날, 이란 남부 호르모즈간 주 미나브의 샤자레 타이예베 초등학교가 Tomahawk 순항미사일에 맞았다. The Guardian이 전한 유엔 사실조사단 보고에 따르면 이 공격으로 민간인 156명이 숨졌고 그중 120명이 어린이였다. Gizmodo는 Bloomberg 보도를 요약하며 「150명 이상, 최소 123명의 어린이」라고 적었다. 출처마다 숫자가 조금씩 다르며, 이 글은 각 숫자를 그 출처의 것으로만 인용한다.

이번에 새로 나온 것은 원인에 관한 설명이다. 그리고 해커뉴스 제목이 말하는 것과 기사가 실제로 말하는 것 사이에는 작지 않은 간극이 있다. 이 글은 그 간극에서 출발해, 「사람이 루프 안에 있다(human in the loop)」는 말이 실제 운용에서 무엇을 의미했는지를 따라가 본다. 원문 Bloomberg 기사는 페이월로 직접 열람하지 못했고, 이를 상세히 요약한 Gizmodo 기사와 The Guardian, CNN 보도를 근거로 삼았다는 점을 먼저 밝혀 둔다.

「국방부가 말했다」의 실제 내용 — 보도된 것과 확정된 것

해커뉴스 제목은 「국방부가 말한다(Pentagon says)」이다. 그러나 Gizmodo가 정리한 Bloomberg 보도의 구조는 다르다. 정보원은 「공개되지 않은 국방부 내부 조사에 관여한 당국자들」이다. 국방부 대변인은 사건이 여전히 조사 중이라며 추가 논평을 거부했다. 즉 공식 발표가 아니라, 미공개 보고서의 내용을 당국자들이 기자에게 전한 것이다. 당국자들은 전체 보고서가 몇 달 전부터 사실상 완성된 상태였다고도 말했다. The Guardian 역시 국방부의 조사가 「수개월 전에 결론에 이른 것으로 알려졌다」고 썼지만, 공개된 예비 결과는 없다.

이 구분은 사소하지 않다. 공식 보고서라면 인과의 범위와 책임 소재가 문서로 확정된다. 익명 당국자의 설명은 그 문서의 일부를 선택해서 전달한 것이고, 무엇이 빠졌는지는 바깥에서 알 수 없다.

그 전제 위에서, 보도된 실패의 사슬은 세 갈래다. Gizmodo는 Maven에 대한 과의존이 「킬 체인에서 Bloomberg에 설명된 세 가지 실패 중 하나일 뿐」이라고 정리하고, 나머지 둘로 잘못된 정보와 오래된 위성 이미지를 든다.

첫째, 데이터. 미국 데이터베이스는 미나브 단지를 수년간 군사 시설로 등록해 두었다. 그러나 상업 위성 이미지는 다른 것을 보여 주었다. 학교를 인접 기지와 분리하는 담장과 별도 출입구 공사는 2017년까지 끝난 것으로 보이며, 2018년 이미지에는 밝게 칠해진 벽, 축구장, 조회 대열, 놀이 공간 표시가 보인다. Bloomberg는 6월에 이미, 한 분석관이 2019년에 변화를 알아채고 메모를 남겼지만 그 시스템이 표적 선정에 쓰이는 주 정보 데이터베이스와 연결되어 있지 않았다고 보도했다. 그 메모는 공격 패키지를 만든 사람들에게 끝내 닿지 않았다. 학교에는 자체 웹사이트가 있었고 Google Maps에도 표시되어 있었다.

둘째, 시스템. 오래된 데이터 때문에 혁명수비대(IRGC) 시설로 분류되어 있던 미나브 부지는 다른 후보들과 함께 Maven에 입력되었고, 「1일차 추천 표적」으로 출력되었다. 예전에는 몇 시간 걸리던 표적 목록 작업이 몇 분으로 압축되었다. 당국자들은 일부 사용자가 Maven이 오래된 기록이나 정보 간 모순을 표시해 줄 것이라 기대했다고 말했는데, 기사는 그들이 왜 시스템이 그렇게 할 것이라 생각했는지는 분명하지 않다고 덧붙인다.

셋째, 조직과 속도. 행정부는 압도적인 개전 공격을 요구했고, 첫 24시간 동안 1,000개 이상의 이란 표적이 타격되었다. Bloomberg의 정보원들에 따르면 이 속도가 추가 확인에 쓸 수 있는 시간을 압축했다. 국방부 전체의 민간인 피해 완화 인력은 최근 몇 년 사이 약 90% 줄어 20명 미만이 되었고, 중부사령부(Centcom)의 해당 그룹은 10명에서 1명으로 줄었다. 미사일이 발사되기 전, 그 팀의 누구도 미나브 부지를 검토하지 않았다.

Palantir 측의 입장도 보도되었다. 대변인은 회사가 「기초 데이터나 정보 결함을 식별하는 것에 대해 책임이 없다」며 소프트웨어에 잘못이 있었다는 증거는 없다고 말했다. Palantir의 국방부 계약을 아는 두 사람은 Maven에 입력되는 정보의 품질에 대한 1차 책임은 정부에 있다고 말했다. 동시에 공격 이후 Palantir가 「표적을 부적격으로 만드는 요인을 찾기 위해 기초 정보를 재검토하고, 사람의 검토가 놓쳤을 수 있는 불일치와 부정확성을 표시하는」 기능을 추가했다는 증언도 함께 실렸다.

정리하면, 이번 보도가 확정한 것은 거의 없다. 보도가 제시한 것은 미공개 보고서에 대한 당국자들의 설명이며, 그 설명에 따르면 AI는 원인의 세 축 중 하나다. 확정되지 않은 것은 많다. 보고서 원문, 개인 책임의 소재, 두 번째 타격의 경위, 그리고 Maven이 구체적으로 어떤 출력을 냈고 누가 그것을 어떻게 승인했는지. 유엔 사실조사단의 결론은 이와 별개다. The Guardian에 따르면 조사단은 미국이 이 공격을 수행했다고 믿을 합리적 근거가 있으며, 표적 정보를 갱신하고 군사 목표임을 확인하지 못한 것이 「단순 과실을 넘어선다」고 판단했다. 미국 정부는 공개적으로 책임을 인정하지 않았다.

자동화 편향 — 「사람이 검토했다」는 말이 비어 있을 때

이 사건에서 가장 기술적으로 흥미로운 문장은 「일부 사용자가 Maven이 오래된 기록이나 모순을 표시해 줄 것이라 기대했다」는 대목이다. 이것은 인간공학에서 오래 다뤄 온 자동화 편향(automation bias)의 전형적 형태다. 자동화된 결정 지원 시스템이 있을 때, 사람은 시스템이 경고하지 않은 것은 문제가 없는 것으로 받아들이기 쉽다. 시스템의 출력을 확인하는 사람이 아니라, 시스템이 경고를 띄우기를 기다리는 사람이 된다.

여기서 핵심은 기대와 설계가 어긋났다는 점이다. Gizmodo가 전한 Palantir 측 설명대로라면, 공격 당시 Maven에는 기초 정보를 재검토해 부적격 요인을 표시하는 기능이 없었고 그것은 사후에 추가되었다. 시스템이 하지 않는 일을 사용자는 시스템이 하고 있다고 믿었다. 「사람이 루프 안에 있다」는 구조는 유지되었지만, 그 사람이 수행한다고 여겨진 검증은 실제로는 누구도 수행하지 않은 셈이다. 사람은 시스템을 믿고, 시스템은 입력 데이터를 믿고, 입력 데이터는 수년 전의 분류를 그대로 믿었다. 각 단계가 다음 단계를 검증 장치로 간주하는 동안, 실제 검증은 사라졌다.

속도는 이 문제를 증폭한다. 몇 시간 걸리던 작업이 몇 분이 되면, 사람이 개입할 수 있는 시간도 그만큼 줄어든다. 하루 1,000개 이상의 표적이라는 규모에서 표적 하나에 쓸 수 있는 사람의 주의는 매우 얇다. 그리고 그 얇은 주의를 보완해야 할 민간인 피해 완화 팀은 10명에서 1명이 되었고, 그 1명도 미나브를 보지 않았다. 결정 지원 시스템의 처리량은 늘었는데, 그 출력을 검토할 사람의 수는 줄었다. 이것은 기술 문제라기보다 용량 계획의 문제다.

같은 주에 나온 CNN의 단독 보도는 이 패턴이 한 건이 아님을 보여 준다. 올봄 이란 전쟁 중, 한 특수작전사령부 분석관이 챗봇을 이용해 정보 보고서를 작성했고, 챗봇은 중동의 한 중국 선박이 핵무기 프로그램 부품을 운반하고 있다고 잘못 식별했다. 분석관은 다시 AI를 써서 그 결과를 표준 정보 보고서 형식으로 포장해 배포했다. 미군은 선박 차단을 준비했고, 두 정보원에 따르면 무장 병력이 승선을 준비했으며 군용기가 이미 떠 있었다. 작전 직전에야 당국자들이 보고서가 AI로 생성되었다는 것을 발견했다. 한 정보원은 그 보고서가 「완전히 거짓」이었으며 「전쟁을 일으킬 뻔했다」고 말했다.

이 사례에서 주목할 부분은 형식이다. AI가 만든 결론이 「군 당국자들이 신뢰하는 종류의」 표준 보고서 양식에 담기자, 그 결론은 출처를 잃었다. 신뢰는 내용이 아니라 형식에 부여되고 있었다. CNN의 다른 정보원은 「표적 선정에서 AI 사용은 분명히 늘고 있는데, 사람을 루프 안에 두는 것이 민간인 사상자나 아군 오인 사격을 어떻게 막을지에 대한 실질적 지침이 없다」고 말했다. 또 다른 정보원의 말은 더 짧다. 「AI는 나쁜 아이디어에 더 빨리 도달하게 해 준다.」

해커뉴스 토론은 크게 두 방향으로 갈렸다. 한쪽은 AI가 희생양이라고 본다. legitster는 세부 내용을 읽어 보면 AI가 진짜 원인이라기보다 희생양으로 보인다고 썼다. 더 이상 군사 표적이 아니라는 정보는 표적 데이터베이스에 들어가지 않았고, 표적 목록 검토 팀은 해체 수준으로 축소되었으며 그 팀은 상의조차 받지 않았다는 것이다. AI 판단이든 SQL 쿼리든 결과는 같았을 것이라는 지적이다(직접 인용은 아니고, 코멘트의 요지를 요약). 다른 쪽은 그 이분법 자체를 거부한다. kamranjon은 군의 무능과 AI가 잘못된 표적 결정에 쓰인 것은 동시에 참일 수 있으며, 더 흥미로운 질문은 AI가 무능한 사람들이 원래보다 더 큰 피해를 낼 수 있게 만든다는 점이라고 했다(직접 인용은 아니고, 코멘트의 요지를 요약).

jtrn은 다른 각도의 질문을 던졌다. 이런 기사에는 늘 비교 기준이 빠져 있다는 것이다. 첫 24시간 1,000개 표적의 대부분을 AI가 골랐다면, 같은 작업을 사람만 했을 때 학교 같은 오폭이 얼마나 나왔을지를 아무도 비교하지 않는다는 지적이다(직접 인용은 아니고, 코멘트의 요지를 요약). 정당한 질문이지만, 이 사건에서는 그 비교가 성립하기 어렵다. 사람만으로는 첫날 1,000개 표적이라는 속도 자체가 불가능했을 것이고, 그 속도 요구가 바로 확인 시간을 없앤 원인으로 보도되었기 때문이다. 오류율은 같은 조건에서만 비교할 수 있다.

결정 지원 시스템의 다음 단계 — 무엇을 물어야 하는가

이 사건을 「AI가 학교를 폭격했다」로 요약하면 틀린다. 「AI는 무관하고 사람이 문제였다」로 요약해도 틀린다. 보도된 사실이 가리키는 것은 그 중간의 구조다. 결정 지원 시스템이 도입되면서 처리 속도의 기대치가 올라갔고, 그 속도를 전제로 검토 인력이 줄었으며, 남은 사람들은 시스템이 하지 않는 검증을 시스템이 하고 있다고 믿었다.

이 구조는 군사 영역에 한정되지 않는다. Gizmodo는 같은 기사에서 플로리다의 얼굴 인식 오인 체포 사례를 함께 언급한다. 자동 매칭 결과로 그 주에 가 본 적도 없고 400마일 떨어진 곳에서 일하고 있던 남성이 체포되어 수개월 수감되었고 직장과 집을 잃었다. 공통점은 소프트웨어의 점수가 확인의 출발점이 아니라 확인의 대체물로 쓰였다는 것이다.

그렇다면 이런 시스템을 도입하는 조직이 물어야 할 질문은 무엇인가. 보도된 사실에서 거꾸로 추론해 보면 몇 가지가 나온다.

첫째, 시스템이 하는 일과 하지 않는 일의 목록이 사용자에게 명시되어 있는가. 미나브의 경우 사용자들은 Maven이 낡은 기록을 표시해 줄 것이라 기대했지만 그 기능은 없었다. 「하지 않는 일」의 목록은 「하는 일」의 목록만큼 중요하다.

둘째, 시스템의 입력이 되는 데이터베이스와, 그 데이터를 반박할 수 있는 정보가 연결되어 있는가. 2019년 분석관의 메모는 표적 데이터베이스와 연결되지 않은 시스템에 남았다. 결정 지원 시스템은 입력의 품질을 넘어설 수 없고, 입력을 고칠 수 있는 경로가 막혀 있으면 아무리 빠른 시스템도 낡은 분류를 빠르게 재생산할 뿐이다.

셋째, 처리량이 늘어난 만큼 검토 용량도 늘었는가. 이 질문이 가장 불편하다. 결정 지원 시스템의 도입 명분은 대개 「같은 인원으로 더 많이」이고, 그 논리는 쉽게 「더 적은 인원으로 같은 만큼」으로 미끄러진다. 미나브에서 몇 시간 걸리던 작업은 몇 분이 되었고, 민간인 피해 검토 인력은 90% 줄었다.

넷째, AI가 만든 결론이 다른 산출물에 들어갈 때 출처 표시가 유지되는가. CNN의 선박 사례는 AI 출력이 표준 보고서 양식으로 「세탁」되면서 신뢰를 얻었다. 출처가 사라지면 검증의 단서도 사라진다.

공격 이후 Palantir가 불일치를 표시하는 기능을 추가했다는 보도는 이 질문들 중 일부에 대한 응답처럼 보인다. 그 기능이 이미 일부 이상을 잡아냈다는 증언도 있다. 그러나 이것은 양날의 검이다. 시스템이 이제 낡은 기록을 표시해 준다면, 사용자는 더욱 「경고가 없으면 괜찮다」고 믿게 될 수 있다. 자동화 편향은 기능을 하나 더하는 것으로 해소되지 않는다. 경고 기능이 좋아질수록 경고가 뜨지 않은 경우에 대한 신뢰도 함께 높아지기 때문이다.

책임의 문제도 남는다. 해커뉴스의 여러 코멘트가 반복한 질문은 결국 「누가 책임지는가」였다. 보도에 따르면 국방부는 보고서를 공개하지 않았고, 대통령은 3월에는 이란의 소행이라고 말했으며 최근에는 무슨 일이 있었는지 아무도 말할 수 없을 것이라고 했다. Palantir는 데이터 책임은 정부에 있다고 말한다. 공식 문서가 없는 상태에서 「AI 과의존」이라는 설명만 먼저 흘러나오면, 그 설명은 원인 분석이 아니라 책임 분산의 언어로 기능할 위험이 있다.

결론

이번 보도가 확정한 것은 생각보다 적다. 해커뉴스 제목은 「국방부가 말한다」였지만, 실제로는 미공개 보고서에 대해 당국자들이 전한 설명이다. 그 설명에 따르면 AI 과의존은 낡은 데이터, 압축된 일정, 해체된 검토 팀과 함께 세 갈래 실패 중 하나였다. 보고서 원문도, 개인 책임도, 두 번째 타격의 경위도 아직 공개되지 않았다.

그럼에도 보도된 내용만으로 분명해지는 것이 하나 있다. 「사람이 루프 안에 있다」는 말은 그 사람이 무엇을 검증하는지, 그것을 검증할 시간과 인원이 있는지를 함께 말하지 않으면 아무 보증도 되지 못한다는 점이다. 미나브에서 사람은 루프 안에 있었다. 다만 그 사람은 시스템이 경고해 줄 것이라 믿고 있었고, 시스템은 그런 기능이 없었으며, 그 사이를 메워야 할 팀은 한 명만 남아 있었다.

당신의 조직이 결정 지원 시스템을 도입한다면, 그 시스템이 「하지 않는 일」의 목록을 누가 알고 있는가. 그리고 처리량이 열 배가 되었을 때 검토하는 사람은 몇 명이 되었는가.

출처: