50만 번의 얼굴 스캔, 체포 0건 — 「오탐 1건」이 말해 주는 것과 말해 주지 않는 것
50만 번의 얼굴 스캔, 체포 0건 — 「오탐 1건」이 말해 주는 것과 말해 주지 않는 것
체포 0건은 기술이 실패했다는 증거인가, 아니면 애초에 찾을 사람이 거의 없는 곳에서 찾았다는 증거인가?
도입
2026년 9월 29일 해커뉴스 1면에 가디언 기사 하나가 519점을 받으며 올라왔다. 제목은 「영국 역에서 50만 번의 얼굴 스캔, 체포 0건, 오탐 1건」이었다. 원문 기사에 따르면 영국 교통경찰(BTP)은 2026년 2월부터 7월까지 런던의 주요 철도역에서 실시간 얼굴인식(LFR) 시험 운용을 했다. 이 기간에 50만 명이 넘는 얼굴이 스캔됐다.
숫자는 Liberty Investigates가 정보공개청구로 얻어 가디언과 공유한 문서에서 나왔다. 18회의 배치에 들어간 장비 임대비와 경찰 인건비는 320,786파운드였다. 경찰관 시간은 100시간 가까이 쓰였다. 그리고 감시 대상 명단(watchlist)에 대한 알림은 단 한 건 울렸는데, 그 한 건은 잘못된 식별, 즉 오탐(false positive)이었다. 체포는 없었다.
헤드라인만 보면 결론은 쉬워 보인다. 돈과 시간을 쓰고 아무것도 못 잡았으니 실패라는 것이다. 해커뉴스의 반응도 상당수가 그쪽이었다. 하지만 이 숫자를 조금만 다르게 놓고 보면, 「체포 0건」과 「오탐 1건」은 서로 다른 질문에 대한 답이라는 점이 드러난다. 그리고 그 어느 쪽도 「이 기술이 작동하는가」라는 질문에는 직접 답하지 않는다. 이 글은 대규모 생체인식 선별에서 기저율(base rate)이 어떻게 결과를 지배하는지, 그리고 감시 기술의 시험을 어떻게 설계해야 평가가 가능한지를 짚어 본다.
숫자가 실제로 보고하는 것
먼저 기사에서 확인되는 사실만 정리한다.
- 기간: 2026년 2월~7월, 6개월
- 장소: 런던의 혼잡한 철도역들
- 배치 횟수: 18회
- 스캔된 얼굴: 50만 개 이상
- 비용: 320,786파운드(장비 임대 + 경찰 인력)
- 경찰관 시간: 100시간 가까이
- 알림: 1건, 그리고 그것은 오탐
- 체포: 0건
여기에 기사가 덧붙인 두 가지 맥락이 있다. 하나는 BTP가 지난달 시험을 4개월 연장하고 지하철역까지 범위를 넓혔다는 점이다. BTP는 연장 이후 「확인된 양성 알림」이 3건 있었는데, 그 사람들은 성범죄 예방 명령(SHPO)이나 법원이 부과한 다른 조건을 준수하고 있는 것으로 확인됐다고 밝혔다. 다른 하나는 BTP 대변인의 설명이다. 배치 중에 폭행, 절도, 흉기 소지 등으로 관련 체포가 여러 건 있었지만, LFR 알림에서 직접 비롯된 것이 아니라서 LFR 성과 데이터에 넣지 않았다는 것이다. 대변인은 또 명단의 확대가 「의도적이고 통제된」 방식이었으며, 데이터 품질과 거버넌스를 확보하는 동안 더 제한된 명단으로 시작했다고 말했다.
이 두 맥락은 숫자의 의미를 크게 바꾼다. 연장 이후의 3건은 시스템이 명단 속 인물을 실제로 맞게 찾아냈다는 뜻이다. 하지만 그 사람들은 아무 위반도 하지 않고 있었다. 정답 판정(true positive)이 반드시 체포로 이어지는 것은 아니다. 「체포 건수」라는 지표는 인식 정확도와 명단의 구성, 그리고 현장에서 무엇을 할 것인가라는 운영 정책을 한데 섞은 값이다.
비교할 만한 숫자가 하나 더 있다. BBC가 2026년 5월에 보도한 런던 경찰청(Met)의 크로이던 시험이다. 2025년 10월부터 2026년 3월까지 크로이던 번화가에 고정형 카메라를 달고 24회 운용했다. 47만 명이 넘는 사람이 카메라 앞을 지나갔고, 체포는 173건, 오탐은 1건이었다. 오탐으로 지목된 사람은 체포되지 않았다. Met은 각 배치마다 24시간 이내에 만든 「맞춤형, 정보 기반」 명단을 쓰고 운용 직후 삭제했다고 설명했다.
두 시험을 나란히 놓으면 이렇다. 지나간 사람 수는 거의 같다(50만 대 47만). 오탐도 똑같이 1건이다. 그런데 체포는 0건 대 173건이다. 오탐률이 같은데 적중이 이만큼 갈린다면, 차이를 만든 변수는 인식 엔진의 성능이 아닐 가능성이 크다. 남는 변수는 「명단에 누가 있었고, 그 사람들이 실제로 그 앞을 지나갔는가」다.
기저율이라는 분모
대규모 선별 검사의 성과는 세 가지 값으로 정해진다. 지나가는 사람 중 명단에 있는 사람의 비율(유병률, 또는 기저율), 명단 속 인물이 지나갈 때 알림을 띄우는 비율(민감도), 명단에 없는 사람에게 알림을 띄우는 비율(오탐률)이다. 기대 적중 수는 「통과 인원 × 기저율 × 민감도」이고, 기대 오탐 수는 「통과 인원 × (1 − 기저율) × 오탐률」이다.
먼저 오탐 쪽을 보자. 50만 명에 1건이면 관측된 오탐률은 대략 100만 명당 2건이다. 크로이던도 47만 명에 1건으로 거의 같다. 두 시험 모두 오탐을 매우 적게 내도록 임계값을 높게 잡았다고 읽는 것이 자연스럽다. 이것은 의미 있는 정보다. 적어도 이 운용 설정에서는 「무고한 사람이 줄줄이 붙잡히는」 시나리오가 수치로 나타나지 않았다.
이제 적중 쪽을 보자. 50만 명에 적중 0건이라는 관측은 「기저율 × 민감도」의 곱에 상한을 준다. 사건이 0건일 때 95% 신뢰 상한을 대략 3/N으로 잡는 이른바 「3의 규칙」을 쓰면, 3 ÷ 500,000, 즉 100만 명당 6명 정도다. 크로이던은 47만 명에 173건, 100만 명당 약 368건이다. 체포와 알림이 같은 것은 아니고 집계 방식도 다르므로 엄밀한 비교는 아니지만, 자릿수로 보면 두 현장의 「찾을 수 있는 사람의 밀도」는 60배 이상 차이가 난다.
이 계산이 말하는 것은 단순하다. 오탐률을 아무리 낮춰도, 찾는 사람이 거의 지나가지 않는 곳에서는 적중이 나오지 않는다. 그리고 거꾸로, 기저율이 극도로 낮은 곳에서는 오탐률이 아무리 낮아도 알림의 상당 부분이 오탐이 된다. BTP의 6개월이 정확히 그 상태였다. 알림 1건 중 1건이 오탐, 즉 양성 예측도(PPV)는 0%였다. 크로이던은 같은 오탐 1건에 173건의 체포가 붙었으니 알림의 대부분이 맞았다. 같은 기술, 같은 오탐 수, 정반대의 PPV다.
기저율을 결정하는 것은 두 가지다. 명단의 크기와 구성, 그리고 장소와 시간이다. 기사에는 BTP 명단의 크기가 나오지 않는다. 해커뉴스에서 janilowski는 명단이 약 450명이었고, 교통경찰과 관련된 인물로 제한됐으며, 카메라가 공개적으로 표시되어 있고 피해 갈 수 있는 경로가 있었으며, 하루 3~6시간만 켜져 있었다고 적었다. 그는 이 운용 조건이 시스템을 실패하도록 만들었다는 취지로 썼다(직접 인용은 아니고, 코멘트의 요지를 요약). 이 수치들은 가디언 기사에서 확인되지 않으며 이 글에서도 검증하지 못했다. 다만 BTP 대변인이 「더 제한된 명단으로 시작했다」고 말한 것은 기사에 있다. 명단이 작으면 기저율은 그만큼 작아지고, 기대 적중 수는 비례해서 줄어든다.
또 하나의 함정은 「50만 개의 얼굴」이 「50만 명」이 아닐 수 있다는 점이다. 해커뉴스에서 mrweasel은 같은 사람이 매일 오가므로 얼굴 수와 사람 수는 다르고, 스캔할 만큼 좋은 이미지가 안 나온 경우도 걸러야 한다고 지적했다(직접 인용은 아니고, 코멘트의 요지를 요약). blitzar는 반대 방향에서, 리버풀 스트리트 역의 이틀치 평균 이용객 규모밖에 안 되는 숫자라며 카메라가 대부분의 시간 꺼져 있었을 것이라고 봤다(직접 인용은 아니고, 코멘트의 요지를 요약). 출퇴근 통근자가 반복해서 잡혔다면 고유 인원은 50만보다 훨씬 적고, 따라서 「명단 속 인물이 한 번이라도 지나갔을 확률」도 생각보다 낮다. 분모가 부풀어 있으면 「50만 명을 봤는데도 못 잡았다」는 인상이 실제보다 더 극적으로 보인다.
여기까지 보면 「기술은 문제없었고 운용이 문제였다」고 정리하고 싶어진다. 하지만 이 데이터는 그것도 증명하지 못한다. 체포 0건이라는 결과는 적어도 세 가지 서로 다른 세계와 양립한다.
첫째, 명단 속 인물이 거의 지나가지 않은 세계. 위에서 본 기저율 설명이다.
둘째, 명단 속 인물이 지나갔지만 시스템이 놓친 세계. 민감도가 낮은 경우다. 오탐을 줄이려고 임계값을 높이면 민감도는 함께 떨어진다. 마스크, 모자, 조명, 카메라 각도도 민감도를 깎는다. 해커뉴스에서 janilowski는 수배 중이라면 셔츠를 끌어올리거나 마스크를 쓰겠다고 덧붙였다(직접 인용은 아니고, 코멘트의 요지를 요약).
셋째, 명단 속 인물이 카메라를 알고 피해 간 세계. 해커뉴스에서 MisterMunchkin은 이 시험에 관여한 사람을 안다며, 큰 안내판을 세우고 찍히지 않는 경로까지 마련해 두었으니 범죄자는 그쪽으로 갔을 것이라고 썼다(직접 인용은 아니고, 코멘트의 요지를 요약). Someone은 같은 현상을 다르게 해석했다. 수배자가 그 역을 피하게 됐다면 그것도 일종의 효과일 수 있지만, 그런 인원은 원래 적어서 증명하기도 반증하기도 어렵다는 것이다(직접 인용은 아니고, 코멘트의 요지를 요약).
중요한 점은, 이 세 세계를 현장 운용 데이터만으로는 구별할 수 없다는 것이다. 놓친 사람은 기록에 남지 않는다. 지나가지 않은 사람도 기록에 남지 않는다. 피해 간 사람도 마찬가지다. 운용 로그에 남는 것은 알림이 울린 사건뿐이고, 그래서 운용 로그로 측정할 수 있는 것은 사실상 오탐률과 PPV뿐이다. 민감도, 즉 「있어야 할 사람을 찾았는가」는 정답 목록이 없는 한 측정할 수 없다.
같은 이유로 「오탐 1건」도 생각만큼 많은 것을 말해 주지 않는다. 오탐 1건은 「무작위 행인에게 잘못 반응하는 비율이 낮다」는 것은 보여 주지만, 그 낮은 비율이 모든 인구 집단에 고르게 적용되는지는 보여 주지 않는다. 사건이 1건이면 집단별로 나눌 수조차 없다. 해커뉴스에서 fivefifty는 에식스 경찰이 연구 결과 흑인을 다른 집단보다 더 많이 식별한다는 이유로 LFR 사용을 일시 중단했다는 스카이뉴스 보도를 인용했다(직접 인용은 아니고, 코멘트의 요지를 요약). 이 글은 그 보도를 직접 확인하지 않았다. 다만 원리상, 표본 오탐이 1건인 시험은 집단 간 편향을 검출할 통계적 힘이 없다는 점은 분명하다.
전 생체인식·감시카메라 커미셔너 Fraser Sampson이 기사에서 한 말은 이 맥락에서 읽을 만하다. 그는 장소, 시간대, 명단의 구성, 사람들이 실제로 있을 가능성 등 많은 변수가 모두 맞아떨어져야 한다고 말했다. 또 상점에서의 성공은 그런 사람이 들어오지 않는 것이지만, 경찰에게 성공이란 사람을 잡는 것이며, 그 점에서 이번 시험은 그다지 성과가 없어 보인다고 했다. 기사는 Sampson이 현재 상점용 얼굴인식 시스템을 운영하는 Facewatch의 비상임 이사라는 점도 함께 밝혔다. 해커뉴스에서 petesergeant는 「아무도 안 들어왔으니 성공」이라는 상점 쪽 성공 정의 자체가 검증 불가능한 순환 논리라고 비꼬았다(직접 인용은 아니고, 코멘트의 요지를 요약). 이 지적은 경찰 쪽 지표에도 그대로 돌아온다. 억지 효과는 원래 관측되지 않는 사건을 세는 일이기 때문이다.
평가할 수 있는 시험, 그리고 확대의 조건
그렇다면 감시 기술의 시험은 어떻게 설계해야 「작동하는가」에 답할 수 있을까. 이 절은 기사의 사실이 아니라 필자의 분석이다.
첫째, 민감도는 운용에서 측정하지 말고 심어서 측정해야 한다. 명단에 동의한 자원자를 넣고 정해진 횟수만큼 현장을 지나가게 하면, 「있어야 할 사람을 몇 번 찾았는가」를 직접 셀 수 있다. 이것이 없으면 체포 0건은 영원히 해석 불가능한 숫자로 남는다. 의료 검진에서 민감도를 확정 진단 표본으로 따로 재는 것과 같은 구조다.
둘째, 기저율을 사전에 추정하고 그것을 성공 기준과 함께 공개해야 한다. 「명단 N명, 예상 통과 인원 M명, 따라서 기대 적중 수는 몇 건」이라는 사전 계산이 있으면, 0건이 기대에서 얼마나 벗어났는지를 판단할 수 있다. 사전 계산이 없으면 사후에 어떤 결과가 나와도 「조건이 나빴다」거나 「억지 효과가 있었다」는 설명이 가능하다. 해커뉴스에서 dgellow가 정부 사업에 KPI를 붙이고 달성하지 못하면 되돌리자고 쓴 것(직접 인용은 아니고, 코멘트의 요지를 요약)은 이 요구를 정책 언어로 옮긴 것이다.
셋째, 지표를 분리해야 한다. 인식 성능(민감도·오탐률), 운영 성과(알림 중 현장 조치로 이어진 비율), 정책 성과(범죄 감소, 안전감)는 서로 다른 층위다. BTP가 연장 이후의 3건을 「확인된 양성」으로 보고하면서도 그 사람들이 조건을 준수하고 있었다고 밝힌 것은, 인식은 맞았지만 운영 성과는 없었던 사례다. 크로이던의 「범죄 10.5% 감소」는 정책 성과 쪽 주장인데, 대조군 없이 한 지역의 전후만 비교한 숫자라면 다른 요인을 배제하기 어렵다. 세 층위를 한 숫자로 섞으면 어느 층위에서 실패했는지 알 수 없다.
넷째, 비용을 결과 단위로 환산해야 한다. 320,786파운드를 18회로 나누면 배치 1회당 약 17,800파운드다. 체포 1건당 비용은 이번 시험에서는 정의되지 않는다(분모가 0이므로). 크로이던 쪽은 기사가 비용을 밝히지 않아 계산할 수 없다. BBC 기사에서 Big Brother Watch의 Jake Hurfurt는 Met의 통계가 체포 한 건 뒤에 숨은 많은 경찰관 시간과 막대한 자원을 가린다고 비판했다. 비용이 결과 단위로 공개되지 않으면 「전통적 치안 활동과 비교해 비례적인가」라는 질문에 답할 수 없다.
다섯째, 운용 조건 자체를 실험 변수로 다뤄야 한다. 명단 크기, 가동 시간, 카메라 공개 여부, 우회 경로 제공 여부는 모두 결과를 바꾸는 변수다. 이 중 일부는 시민적 자유를 위한 안전장치이기도 하다. 우회 경로를 없애면 적중은 늘겠지만, 그것은 「동의할 수 없는 선별」로의 이동이다. 평가를 설계한다는 것은 이 교환 관계를 명시적인 숫자로 드러내는 일이지, 성과를 위해 안전장치를 조용히 걷어 내는 일이 아니다.
이 시험은 끝난 이야기가 아니다. 기사에 따르면 BTP는 시험을 4개월 연장하고 지하철역으로 범위를 넓혔다. Liberty Investigates의 분석으로는 잉글랜드와 웨일스 경찰의 절반 이상이 이미 거리에서 LFR을 배치했다. Met과 런던 시장실은 웨스트엔드에 고정형 LFR 카메라를 설치한다고 발표했고, Sadiq Khan 시장은 보행자 전용 거리로 바뀐 옥스퍼드 스트리트에서도 이 기술을 쓰겠다고 확인했다. 의회 인권합동위원회는 실시간 얼굴인식의 확산을 「특히 분명한 위험 사례」로 꼽았다. 노동당 하원의원 Bell Ribeiro-Addy는 적절한 법적 틀을 포함한 더 강한 안전장치가 마련될 때까지 도입을 중단하라고 요구했다.
이 흐름 속에서 「체포 0건」은 양쪽 진영에서 서로 다른 무기로 쓰일 것이다. 반대 쪽은 비용 대비 성과가 없다는 증거로, 추진 쪽은 조건이 나빴을 뿐이며 명단을 키우면 된다는 근거로. 기저율 산술은 두 주장 모두에 경고를 보낸다. 명단을 키우고 가동 시간을 늘리면 적중은 늘어난다. 동시에 오탐의 절대 수도 늘어난다. 해커뉴스에서 LastTrain은 같은 비율을 5천만 명 규모로 키우면 여전히 적중 0건에 오탐 100건이 된다는 계산을 내놓았다(직접 인용은 아니고, 코멘트의 요지를 요약). 계산 자체는 오탐률 100만 명당 2건을 그대로 늘린 것이라 맞지만, 적중 0건이라는 전제는 명단과 장소가 그대로일 때만 성립한다. 핵심은 확대가 오탐의 「비율」은 그대로 두고 「건수」를 늘린다는 점이다. 그리고 명단을 넓히면 기저율이 오르는 대신, 명단에 오를 기준이 느슨해진다. 「수배자」에서 「법원 조건 부과 대상자」로, 다시 그 너머로.
엔지니어가 여기서 가져갈 교훈은 감시 기술에 한정되지 않는다. 사기 탐지, 스팸 필터, 보안 이상 탐지, 의료 선별 검사 모두 같은 구조를 공유한다. 기저율이 극도로 낮은 문제에서 「오탐이 적다」는 사실은 정밀도를 보장하지 않고, 「적중이 없다」는 사실은 민감도에 대해 아무것도 말하지 않는다. 운용 로그는 알림이 울린 사건만 기록하므로, 놓친 것을 측정하려면 정답을 심어 두는 설계가 따로 필요하다. 그리고 성공 기준은 결과를 보기 전에 정해 두어야 한다.
결론
런던 철도역의 6개월 시험은 「얼굴인식이 작동하지 않는다」는 증거도, 「작동한다」는 증거도 아니다. 이 시험이 보여 준 것은 오탐률이 매우 낮은 설정에서, 찾을 사람이 거의 지나가지 않는 조건으로 운용했다는 사실이다. 같은 해 크로이던은 거의 같은 통행량과 같은 오탐 1건으로 173건의 체포를 냈다. 두 결과의 차이는 엔진이 아니라 기저율, 즉 명단과 장소와 시간의 함수다.
「오탐 1건」은 무작위 행인에 대한 오인 비율이 낮다는 것을 말해 준다. 그러나 놓친 사람의 수, 집단 간 편향, 억지 효과는 말해 주지 않는다. 그것들은 운용 로그에 원래 남지 않는 사건들이다. 측정하려면 자원자를 심은 민감도 측정, 사전에 공개한 기저율 추정과 성공 기준, 층위별로 분리한 지표가 필요하다.
연장된 시험이 지하철로 확대되는 지금, 물어야 할 것은 「몇 명을 잡았나」가 아니라 「잡을 수 있었던 사람 중 몇 명을 잡았고, 그 대가로 몇 명을 잘못 지목했으며, 그 기준은 언제 정했나」다. 이 질문에 숫자로 답하지 못하는 시험은 확대의 근거가 될 수 없다.
출처: