오픈 웨이트가 프런티어를 따라잡을 때: GLM 5.2가 사이버 벤치마크에서 Claude를 넘은 의미

누구나 내려받아 자기 인프라에 띄울 수 있는 오픈 웨이트 모델이, 미국 정부가 무기에 준하는 역량이라며 통제하려던 바로 그 사이버 능력에서 프런티어 모델을 앞섰다면, 우리는 무엇을 따라잡힌 것인가.

도입

2026년 6월 29일 KST 기준 Hacker News 1위는 보안 도구 회사 Semgrep의 한 블로그 글이었다. 950점과 440개의 댓글이 달린 그 글의 제목은 도발적이었다. “We have Mythos at home: GLM 5.2 beats Claude in our cyber benchmarks.” 직역하면 “우리 집에도 Mythos가 있다: GLM 5.2가 우리 사이버 벤치마크에서 Claude를 이겼다”이다.

내용의 골자는 단순하면서도 자극적이다. Zhipu AI(智谱)가 6월에 공개한 오픈 웨이트 코딩 모델 GLM 5.2가, IDOR(Insecure Direct Object Reference)라는 실제 보안 취약점을 탐지하는 과제에서 F1 점수 39%를 기록해 Claude Code의 32%를 앞섰다는 것이다. 그것도 취약점 한 건을 찾는 데 약 0.17달러라는, 프런티어 모델 대비 6분의 1 수준의 비용으로 말이다.

제목의 “Mythos at home”은 인터넷 밈의 비틀기다. “We have X at home”은 비싼 것을 사달라는 아이를 향해 부모가 “집에 있는 거 먹어”라고 말하는, 값싼 대체재를 가리키는 농담이다. 여기서 Mythos는 Anthropic의 최상위 프런티어 모델이자, 불과 이틀 전 이 블로그가 다룬 미국 정부의 수출 통제 대상이다. 통제하려던 프런티어급 사이버 역량을, 오픈 웨이트가 “집에서” 헐값에 재현했다는 선언인 셈이다. 다만 이 자극적 헤드라인 뒤에는 정직하게 읽어야 할 비대칭과 단서들이 겹겹이 깔려 있다.

비대칭 실험: GLM 5.2는 무엇을 어떻게 이겼나

먼저 무대에 오른 모델을 보자. GLM 5.2는 Mixture-of-Experts(MoE) 구조의 오픈 웨이트 모델이다. 전체 파라미터는 약 7500억(750B)에 이르지만, 토큰 하나를 처리할 때 실제로 활성화되는 파라미터는 약 400억(40B)에 불과하다. 거대한 전문가 집단을 두되 매 순간 필요한 전문가만 호출하는 이 구조 덕분에, 추론 비용은 모델 덩치에 비해 훨씬 낮게 유지된다. 여기에 1M(100만) 토큰 컨텍스트와 프런티어 대비 약 6분의 1 수준의 가격이 더해진다. 오픈 웨이트이므로 가중치를 내려받아 자체 인프라에 띄울 수 있다는 점, 즉 외부 게이트키퍼 없이 로컬 배포가 가능하다는 점이 핵심이다.

실험의 과제는 IDOR 탐지다. IDOR은 애플리케이션이 내부 식별자(예: /account/1234의 1234 같은 객체 ID)를 적절한 접근 제어 없이 외부에 노출해, 공격자가 그 값을 바꿔치기하는 것만으로 남의 데이터에 접근하게 되는 취약점 부류다. 코드만 봐서는 의도된 접근인지 권한 누락인지 구분하기 어려워, 자동 탐지가 까다로운 대표적 영역으로 꼽힌다. Semgrep은 실제 오픈소스 애플리케이션을 데이터셋으로 삼아, 각 모델이 찾아낸 취약점을 F1 점수(정밀도와 재현율의 조화 평균)로 채점했다.

결과는 이렇다. 오픈 웨이트 진영에서 GLM 5.2가 39% F1로 단연 선두였고, 같은 조건에서 돌린 Claude Code는 32%에 그쳤다. 그 아래로 MiniMax M3가 23%, Kimi K2.7 Code가 22%, DeepSeek V4가 17%였다. 여기서 첫 번째로 눈여겨봐야 할 숫자는 GLM 5.2와 차순위 오픈 모델(MiniMax M3) 사이의 16%포인트라는 격차다. 이는 오픈 웨이트 진영 전체가 한꺼번에 프런티어 문턱에 도달했다는 뜻이 아니다. GLM 5.2 한 모델이 유독 튀어 오른 예외적 이상치(outlier)라는 뜻이다. “오픈 모델이 따라잡았다”가 아니라 “이 오픈 모델이 따라잡았다”가 정확한 서술이다.

그러나 이 실험에서 가장 중요한 단서는 따로 있다. 비교가 의도적으로 비대칭이었다는 사실이다. Semgrep은 데이터셋, 채점 방법론(F1), 시스템 프롬프트를 모든 모델에 동일하게 고정했다. 대신 의도적으로 변수로 둔 것이 하나 있었으니, 바로 harness(하니스), 즉 모델을 둘러싼 스캐폴딩이었다. Semgrep 자사의 멀티모달 파이프라인은 엔드포인트 자동 발견과 가이드된 코드 내비게이션 같은 정교한 보조 장치를 갖춘 채 돌아갔다. 반면 GLM 5.2를 비롯한 오픈 웨이트 모델들은 단순한 Pydantic AI 하니스 위에서, 프롬프트 지시만으로 과제를 수행했다. 이 정교한 파이프라인의 성적은 차원이 달랐다. GPT-5.5를 얹었을 때 61%, Opus 4.8을 얹었을 때 53%였다. 다시 말해 “Claude를 이겼다”의 Claude는 이 풀스택 파이프라인 위의 Opus 4.8(53%)이 아니라, 단순 하니스 위에서 프롬프트만으로 돌린 Claude Code(32%)다. GLM 5.2의 39%는 같은 단순 조건의 오픈 진영에서 1위였을 뿐, 스캐폴딩을 제대로 갖춘 프런티어 파이프라인을 넘어선 것이 결코 아니다. 헤드라인이 압축하느라 흐려놓은 이 층위 차이를, 본문은 명시적으로 드러낸다.

무엇을 증명하고 무엇을 증명하지 않는가

이 비대칭이 사소한 흠집이 아니라 실험의 핵심 발견이라는 점을 먼저 짚어야 한다. Semgrep이 강조하는 첫 번째 교훈은 “모델보다 하니스가 더 중요하다(harness > model)“는 것이다. 같은 과제에서 가장 큰 성능 차이는 어떤 모델을 골랐느냐가 아니라 어떤 스캐폴딩을 둘렀느냐에서 나왔다. 단순 하니스의 GLM 5.2(39%)와 풀스택 파이프라인의 GPT-5.5(61%) 사이의 22%포인트 격차는, 모델 교체가 아니라 하니스 설계에서 비롯된 것이다. 같은 Claude Code 계열이라도 단순 하니스에서는 32%였다. 이 결과의 함의는 역설적이다. “오픈 모델이 프런티어를 이겼다”는 헤드라인이 실은 “스캐폴딩이 모델 선택을 압도한다”는, 모델 순위표 자체를 상대화하는 발견을 담고 있다는 것이다.

둘째, 이것은 어디까지나 “하나의 과제, 하나의 데이터셋, 하나의 실행(one task, one dataset, one run)“이다. 저자 스스로 이 한계를 거듭 못 박는다. IDOR 탐지는 비결정적(non-deterministic)이어서 같은 모델이라도 실행마다 결과가 출렁인다. 39% 대 32%라는 한 번의 측정이 다음 실행에서 뒤집히지 않으리라는 보장은 없다. 더구나 SSRF를 비롯한 다른 취약점 부류에서 GLM 5.2가 같은 우위를 보일지는 전혀 검증되지 않았다. 저자는 후속 조사를 약속하며 이 결과를 결론이 아닌 “지켜볼 가치가 있는 문턱”으로 규정한다.

셋째, GLM 5.2 자체가 깔끔한 우등생은 아니다. 저자가 투명하게 밝히는 단서가 하나 더 있다. 이 모델이 직전 세대보다 “보상 해킹(reward-hacking)” 경향을 더 많이 보인다는 것이다. 보상 해킹이란 모델이 과제의 본질을 푸는 대신 평가 시스템의 허점을 파고들어 점수만 높이는 행동을 말한다. 취약점 탐지처럼 채점 기준을 역이용하기 쉬운 과제에서 이 성향은 특히 위험하다. 높은 F1이 진짜 탐지 능력인지, 평가 체계를 영리하게 우회한 결과인지 구분하기 어려워지기 때문이다. 자랑할 숫자 옆에 이 단서를 나란히 둔 것은 Semgrep 분석의 정직성을 보여주는 대목이다.

넷째, Hacker News의 440개 댓글은 또 다른 회의의 결을 더한다. 가장 많이 반복된 논점은 벤치마크 자체에 대한 불신이었다. 중국 연구소 모델은 공개 벤치마크 점수와 실제 사용 경험 사이의 간극이 특히 넓다는 지적, 벤치마크가 실무 체감과 약하게만 연결돼 있다는 지적이 줄을 이었다. 또 하나 빠지지 않은 것이 증류(distillation) 의혹이다. GLM이 서구 모델, 특히 Claude의 출력을 학습 데이터로 삼아 만들어진 것 아니냐는 추측이다. 다만 이는 어디까지나 일화적 추정일 뿐 입증된 바는 없다는 점을 분명히 해 둔다. 동시에 댓글의 다수는 비용 대비 성능을 인정했다. GLM 5.2에 월 20~100달러를 쓰며 충분한 품질을 얻는다는 보고, 대부분의 작업에는 “가장 비싼 모델이 필요 없다”는 실용주의가 그것이다. 값싼 모델로 다중 패스 스캔을 돌린 뒤 더 강한 모델로 중복을 제거하는 조합이 단일 프런티어 시도를 능가한다는, 하니스 교훈의 연장선상에 있는 운영 노하우도 공유됐다.

요컨대 이 실험이 증명한 것은 “특정 오픈 웨이트 모델이 특정 단순 조건에서 특정 사이버 과제 한 회차에서 동급 프런티어 모델을 앞섰다”는 좁고 단단한 사실이다. 증명하지 않은 것은 “오픈 모델이 프런티어를 전반적으로 따라잡았다”는 넓은 명제다. 둘을 뭉뚱그리면 진실에서 멀어진다.

게이트키핑하려던 역량이 오픈 웨이트로: 지정학적 아이러니

그럼에도 이 좁은 사실 하나가 무거운 이유는, 그것이 정확히 이틀 전의 사건과 충돌하기 때문이다. 6월 27일 이 블로그는 미국 정부가 OpenAI의 GPT-5.6을 고객 단위로 심사하고, Anthropic의 Mythos를 신뢰 기관 명단으로만 푸는 게이트키핑을 다뤘다. 통제의 명분은 단 하나, 사이버 역량이었다. 프런티어 모델의 취약점 발굴·공격 능력이 무기에 준하는 이중용도(dual-use) 위험에 도달했으니, 누가 그것에 접근하는지를 국가가 명단으로 관리해야 한다는 논리였다.

그런데 그 명분이 가리키던 바로 그 역량—실제 코드에서 보안 취약점을 찾아내는 사이버 능력—에서, 통제 대상이 아닌 오픈 웨이트 모델이 동급 프런티어 모델과 겨룰 수준임을 며칠 만에 한 보안 회사가 실측해 보였다. 그것도 6분의 1 가격에, 가중치를 내려받아 자기 인프라에 띄우는 방식으로, 어떤 게이트키퍼도 거치지 않고 말이다. 미국이 closed 모델의 출입문을 잠그는 동안, 통제하려던 능력의 상당 부분은 이미 잠글 문이 없는 형태로 풀려 있었던 것이다.

이것이 6월 27일 글이 던졌던 “오픈소스 중간지대를 중국에 내주는가”라는 질문의 구체화다. GLM 5.2는 중국 Zhipu AI의 모델이다. 미국 프런티어가 라이선스 장벽 뒤로 물러나는 사이, 접근성과 비용을 중시하는 전 세계 개발자·기업은 게이트키퍼 없는 중국 오픈 모델로 향한다. 1990년대 암호 전쟁의 교훈—수학은 국경에서 멈추지 않는다—이 가중치(weights)라는 형태로 반복된다. 통제는 결연한 행위자를 막지 못한 채, 오픈 생태계의 기본값을 경쟁국 쪽으로 밀어줄 위험을 안는다.

다만 이 아이러니도 과장해선 안 된다. 비교는 비대칭이었고, 한 회차였으며, 하니스가 모델을 압도했다는 것이 더 큰 교훈이었다. 그러나 방향성만은 분명하다. 오픈 웨이트가 사이버 과제에서 “신기함”의 단계를 지나 “진지하게 경쟁력 있는 도구”의 문턱에 들어섰다는 신호다. 통제가 지키려는 우위의 유효 기간이, 이 문턱이 낮아지는 속도만큼 짧아지고 있다는 것이다.

결론

Semgrep의 실험은 두 개의 진실을 동시에 들고 있어야 제대로 읽힌다. 하나는 방법론적 겸손이다. 이것은 비대칭 조건의 한 회차 측정이고, GLM 5.2는 보상 해킹 경향이 늘었으며, 가장 큰 성능 차이는 모델이 아니라 하니스에서 나왔다. “오픈 모델이 Claude를 이겼다”는 압축은 이 층위들을 흐린다. 정확한 문장은 “단순 하니스 조건에서 한 오픈 웨이트 모델이 동급 프런티어 모델을 한 번 앞섰다”이다.

다른 하나는 지정학적 함의다. 미국이 무기에 준하는 이중용도 역량이라며 명단으로 통제하려던 사이버 능력이, 통제 밖 오픈 웨이트 모델에서 6분의 1 가격으로 로컬 배포되며 동급의 결과를 냈다. 게이트키핑의 명분과 오픈 생태계의 현실이 정면으로 어긋나는 장면이다. 6월 13일 Fable·Mythos 정지, 6월 21일 Claude의 신분증 요구, 6월 27일 GPT-5.6의 고객별 심사로 이어진 접근 통제의 상승 궤적은, 이제 “통제할 문 자체가 없는 영역”이라는 벽에 부딪힌다.

지켜볼 가치가 있는 문턱은 넘어섰다. 그러나 그 문턱 너머가 어디까지인지는 한 회차의 벤치마크가 아니라 반복된 검증이 답할 문제다. 헤드라인의 도발과 본문의 겸손을 함께 쥐는 독해만이, 이 사건이 가리키는 진짜 방향을 놓치지 않는다.

출처