추론이 상품이 될 때: GLM 5.2와 다가오는 AI 마진 붕괴
추론이 상품이 될 때: GLM 5.2와 다가오는 AI 마진 붕괴
오픈 웨이트 모델이 추론 비용을 바닥으로 끌어내리는 지금, 프런티어 AI 랩의 마진은 정말 붕괴하는가 — 아니면 가치는 그저 스택 위로 이동할 뿐인가.
도입
2026년 7월 7일 KST 기준 Hacker News 1위는 Martin Alderson의 블로그 글이었다. 674점과 460개의 댓글이 달린 그 글의 제목은 “The upcoming AI margin collapse, part 1: GLM 5.2”, 직역하면 “다가오는 AI 마진 붕괴, 1부: GLM 5.2”다. 제목이 예고하듯 이것은 시리즈의 서막이고, 저자는 후속 편에서 붕괴의 2차 효과를 다루겠다고 못 박았다. 그러나 1부만으로도 논쟁의 좌표는 이미 선명하다.
며칠 전 이 블로그가 다룬 GLM 5.2 이야기는 벤치마크의 문제였다. 오픈 웨이트 모델이 프런티어의 능력에 얼마나 근접했는가, 사이버 취약점 탐지 같은 특정 과제에서 동급 프런티어를 한 번 앞설 수 있는가 하는 물음이었다. 이번 글의 축은 다르다. 능력이 아니라 돈이다. 오픈 웨이트가 “쓸 만한” 수준에 도달했다는 사실 자체는 이미 전제로 깔아 두고, 그 전제가 프런티어 랩의 손익계산서에 무엇을 하는지를 묻는다. 능력 논쟁이 “따라잡혔는가”였다면, 마진 논쟁은 “따라잡힌 다음에 누가 돈을 버는가”다.
Alderson의 핵심 주장은 한 문장으로 요약된다. 프런티어 랩을 위협하는 것은 학습 비용이 아니라 추론 비용이라는 것이다. 수억 달러가 드는 학습은 한 번 지불하고 나면 고정된 매몰비용으로 상각되지만, 추론은 수요에 비례해 무한히 반복되는 변동비이자, 지금까지 프런티어 랩의 실질적 이익 엔진이었다. 그 엔진의 마진을, GLM 5.2 같은 오픈 웨이트 모델이 6분의 1 가격으로 잠식하기 시작했다는 것이 이 글의 출발점이다.
문제는 이 명제가 얼마나 단단한가다. 추론 마진은 정말로 붕괴하는가? 아니면 그것은 상품화의 표층일 뿐이고, 진짜 이익은 애플리케이션과 에이전트 계층으로, 즉 스택 위로 이동할 뿐인가? Hacker News의 460개 댓글은 정확히 이 지점에서 두 진영으로 갈렸다. 이 글은 저자의 논증과 수치를 먼저 정리하고, 추론 경제학의 실제 구조를 파고든 뒤, 양쪽 논거를 트레이드오프로 나란히 놓는다.
현상: 저자의 마진 붕괴 논증과 수치
Alderson의 논증은 세 개의 숫자 위에 서 있다. 첫째는 프런티어 랩이 추론에 매기는 가격이다. 그는 Anthropic·OpenAI급 프런티어가 대략 $25/Mtok(100만 토큰당 25달러) 수준을 받는다고 본다. 둘째는 그 가격에 실린 마진이다. 저자는 순수 컴퓨트 비용 대비 소매가(rack rate) 기준으로 약 90%의 매출총이익률이 실려 있다고 추정한다. 다만 그는 이 수치가 “조금 더 높거나 조금 더 낮을 수 있다”고 스스로 단서를 단다. 셋째는 회사 단위의 블렌디드 숫자다. 유출된 OpenAI 재무 자료를 근거로, 매출 대비 매출총이익률은 약 60% 수준이라고 인용한다. 이 60%에는 지원·결제 처리·기타 서비스 비용이 섞여 있다.
여기서 두 숫자의 간극이 이 글의 첫 번째 핵심이다. 토큰 한 건을 서빙하는 순수 컴퓨트 위에는 90%의 마진이 얹혀 있는데, 회사 전체를 놓고 보면 60%로 내려온다. 그 30%포인트의 차이가 바로 학습 상각과 운영비다. 다시 말해 프런티어 랩은 개별 추론 요청에서는 대단히 높은 이익을 뽑지만, 그 이익의 상당 부분을 다음 세대 모델을 학습시키는 데, 즉 “프런티어에 계속 머무르기 위한 비용”에 다시 쏟아붓는다. 추론은 화수분처럼 보이지만, 그 물을 길어 올리는 이유는 끝없이 돌아가는 학습 러닝머신에 다시 붓기 위해서다.
두 번째 숫자 묶음은 GLM 5.2다. 저자는 이 오픈 웨이트 모델의 시장 서빙 가격이 대략 $4.40/Mtok 언저리라고 본다. 이는 Opus 소매가의 20% 미만, GPT-5.5 대비 약 15% 수준이다. Hacker News의 한 사용자 nodja는 더 공격적인 숫자를 던졌다. 그는 “Sonnet에 100만 토큰당 $25를 낼 이유가 뭔가, GLM은 $3면 되는데 — 둘 다 어차피 AWS/Azure 같은 제3자 위에서 돌아갈 텐데”라고 적었다. 저자든 댓글이든 방향은 같다. 동일하거나 근접한 작업을, 프런티어의 5분의 1에서 6분의 1 가격에 처리할 수 있다는 것이다. 저자는 “거의 모든 워크플로에서 50% 이상 저렴”할 것이라고 정리한다.
세 번째는 이 가격이 왜 더 내려갈 수밖에 없는가에 대한 근거다. 오픈 웨이트라는 사실이 결정적이다. 가중치가 공개돼 있으므로 특정 랩만 그것을 서빙하는 게 아니라 여러 서빙 사업자가 동일한 모델을 두고 경쟁한다. 민감한 데이터를 다루는 조직은 아예 온프레미스로 자기 인프라에 띄울 수도 있다. 동일한 상품을 여러 판매자가 파는 시장에서 가격은 한계비용을 향해 수렴한다. 여기에 하드웨어 축의 압력이 겹친다. 저자는 Wafer의 분석을 인용해, AMD가 Nvidia Blackwell 대비 토큰당 약 2.75배 저렴하게 추론을 돌릴 수 있다고 전한다. 서빙 경쟁과 실리콘 경쟁이 동시에 90%의 마진을 아래로 짓누른다는 그림이다.
논증을 압축하면 이렇다. 프런티어의 추론 소매가 위에는 90%에 이르는 두꺼운 마진이 얹혀 있다. 오픈 웨이트 모델은 그 마진을 겨냥한 무기다. 동일 가중치를 여러 사업자가 경쟁 서빙하고, 자가 호스팅이 가능하며, 하드웨어까지 저렴해지는 순간, 그 두꺼운 마진은 한계비용을 향해 얇아진다. 저자는 Jeff Bezos의 격언을 인용하며 글을 닫는다. “당신의 마진이 곧 나의 기회다(your margin is my opportunity).” 프런티어 랩의 90% 마진은, 정의상 다른 누군가의 진입 기회라는 것이다.
심층: 반론과 추론 경제학의 실제 구조
이 논증을 제대로 검증하려면 먼저 흔한 오해 하나를 걷어내야 한다. “AI 회사들은 요청마다 손해를 본다”는 통념이 그것이다. Alderson의 숫자는 정확히 그 반대를 말한다. 순수 컴퓨트 대비 90% 마진이라는 것은, 토큰 단위 추론이 지금도 대단히 수익성 높은 사업이라는 뜻이다. 붕괴 서사의 대상은 “적자 추론”이 아니라 “과잉 마진”이다. 추론이 밑지는 장사여서 무너지는 게 아니라, 지나치게 잘 남는 장사여서 경쟁이 몰려온다는 것이다. 이 구분은 사소하지 않다. 밑지는 사업은 수요가 늘수록 더 위험해지지만, 과잉 마진 사업은 수요가 늘수록 더 매력적인 표적이 된다.
그렇다면 왜 회사 단위 마진은 60%로 주저앉는가. 앞서 짚은 학습 러닝머신 때문이다. 개별 추론에서 90%를 벌어도, 프런티어 지위를 유지하려면 다음 모델 학습에 수억에서 수십억 달러를 다시 태워야 한다. 이 구조에서 “추론은 이미 흑자”라는 명제와 “회사는 현금을 태운다”는 명제는 동시에 참일 수 있다. 요청당 이익이 회사 이익과 같지 않기 때문이다. Hacker News 사용자 lompad는 이 규모의 압력을 지적했다. Redis나 Elasticsearch가 감당하는 회수 압력과 달리, 프런티어 랩은 “몇 년 안에 거의 1조 달러에 가까운 돈”을 회수해야 하는 처지라는 것이다. 추론 마진이 얇아지는 만큼, 이 회수 방정식의 분모는 더 커진다.
오픈 웨이트가 이 방정식을 깨는 방식은 상각 구조의 파괴다. GLM 5.2의 학습 비용은 Zhipu AI가 부담했다. 그러나 그 결과물인 가중치를 서빙하는 사업자는 학습비를 상각할 필요가 없다. 컴퓨트 원가에 얇은 마진만 얹으면 된다. 동일한 가중치를 여러 사업자가 파는 시장은 교과서적인 베르트랑(Bertrand) 경쟁에 가깝고, 그 균형은 한계비용 근처다. 상품화의 엔진은 바로 이 지점이다. 학습이라는 거대한 고정비를 남이 대신 지불한 상품을, 아무나 원가에 팔 수 있게 되는 것.
여기서 논쟁이 갈린다. 상품화의 전제는 “전환 비용이 낮다”는 것이다. 붕괴 진영은 이 전제가 이미 성립했다고 본다. Redis의 antirez는 “AI 공급자를 바꾸는 것은 엔드포인트 하나를 바꾸는 일”이라고 적었다. 클라우드가 이전 관성(switch inertia)을 만드는 것과 정반대로, 복잡한 시스템을 다른 환경에 옮기는 게 아니라 URL 하나를 갈아끼우면 끝이라는 것이다. 사용자 cogman10은 더 직설적이다. 그는 “당신이 든 다른 예시들과 달리 LLM을 갈아치우는 것은 싸고 쉽다 — 공급자가 누구든 UX는 같다. 프롬프트를 넣으면 답을 뱉는다”고 정리했다. 이것이 붕괴 진영의 핵심이다. 입출력 인터페이스가 프롬프트라는 단일 규격으로 표준화된 순간, 모델은 교체 가능한 부품이 된다.
역사적 유비도 이 진영의 무기다. 사용자 nostrademons는 1980년대 메모리 칩 마진이 붕괴해 Intel이 메모리 사업에서 아예 철수한 사례, SGI·Sun·Symbolics의 몰락, dBase·Sybase가 오픈소스 대안에 밀려 사라진 사례를 열거했다. 상품화가 마진을 어떻게 증발시키는지에 대한 산 증거라는 것이다. 여기에 lumost는 “모델 서빙은 상태 없는(stateless) 단순한 문제이고, 아직 아무도 추론에서 신뢰할 만한 해자를 찾아내지 못했다”고 덧붙였고, est31은 “LLM의 해자가 대체 무엇인가 — Codex는 오픈소스이고 Claude에는 대안이 무수히 많다”고 물었다.
그러나 반대 진영은 “전환 비용이 낮다”는 전제 자체를 공격한다. 사용자 fny는 기업이 더 싼 대안을 두고도 기존 공급자에 남는 이유로 “서비스 보증, 통합, 그리고 문제가 생겼을 때 소송할 수 있는 상대”를 들었다. 그는 Office가 GSuite를, GitHub와 Slack이 더 싼 경쟁자를 두고도 살아남은 전례를 근거로 삼았다. 사용자 pants2는 더 기술적인 마찰을 짚었다. 컨텍스트 캐싱이 공급자마다 다르게 작동하고, API 표면·비용 구조·계정 한도·과금·ZDR(Zero Data Retention) 계약이 제각각이라는 것이다. 엔드포인트 하나를 바꾸는 것처럼 보여도, 프로덕션에서 그 하나에 매달린 캐싱 경제학과 계약 조건은 결코 하나가 아니다. 이것이 반대 진영의 핵심이다. 프롬프트 인터페이스가 표준화됐다고 해서 운영까지 표준화된 것은 아니다.
그리고 세 번째 관점, “가치는 스택 위로 이동한다”가 있다. 이 관점은 붕괴를 부정하지 않는다. 다만 붕괴하는 것이 모델 계층일 뿐, 이익은 그 위 애플리케이션·에이전트·하니스 계층으로 옮겨간다고 본다. 흥미롭게도 이 논거는 며칠 전의 벤치마크 이야기와 정확히 맞물린다. 그 실험의 가장 큰 교훈이 “모델보다 하니스가 중요하다(harness > model)“였음을 상기하자. 같은 과제에서 성능을 가른 것은 어떤 모델을 골랐느냐가 아니라 어떤 스캐폴딩을 둘렀느냐였다. 만약 스캐폴딩이 모델 선택을 압도한다면, 부가가치는 모델이 아니라 하니스를 만드는 쪽에 쌓인다. 사용자 skissane는 이 아이러니를 이렇게 표현했다. “Claude는 당신이 Claude에서 벗어나도록 도와줄 것이다. AI는 아마 역사상 처음으로, 자기를 경쟁자로 갈아치우는 일을 기꺼이 돕는 제품이다.” 모델이 스스로 상품화를 가속하는 만큼, 붙잡을 수 있는 가치는 모델 바깥에 있다는 것이다.
마지막으로 시장이 하나가 아니라는 점이 반론의 결정적 층위다. 프런티어는 멈춰 있지 않다. 오픈 웨이트는 대개 최상위 프런티어보다 몇 개월 뒤처진다. 대부분의 워크플로에는 그 격차가 무의미하지만, 가장 높은 가치를 다투는 최상단 작업—희귀한 버그, 복잡한 추론, 실패 비용이 큰 결정—에서는 그 몇 개월이 여전히 값을 한다. 즉 시장은 “충분히 좋으면 되는” 상품 계층과 “최고여야 하는” 프리미엄 계층으로 갈린다. 붕괴는 전면적이라기보다 이 경계선을 따라 진행된다.
전망·실무 시사점
이 모든 논거를 종합하면, 단일한 “붕괴/무붕괴”가 아니라 이층 구조가 그려진다. 아래층은 상품화된 추론이다. 오픈 웨이트, 다중 서빙 사업자, 저렴해지는 실리콘이 이 층의 가격을 한계비용을 향해 밀어내리고, 90%의 마진은 여기서 실제로 얇아진다. 위층은 프리미엄 프런티어다. 최상위 능력이 결과를 가르는 소수의 고가치 워크로드가 이 층에 남고, 여기서는 마진이 더 얇아진 형태로나마 유지된다. 마진 붕괴는 아래층에서 격렬하게, 위층에서 완만하게 일어난다.
프런티어 랩에게 이 구도가 남기는 선택지는 둘이다. 첫째는 스택 위로 올라가는 것이다. 순수하게 API로 토큰을 파는 위치가 가장 노출된 자리이므로, 제품·에이전트·유통으로 이동해 애플리케이션 계층의 마진을 직접 취하는 길이다. 소비자용 앱이나 코딩 에이전트가 그 방향이다. 여기서 Bezos의 격언은 양날이다. 프런티어의 마진이 서빙 사업자의 기회이듯, 모델 계층의 마진은 그 위 앱 계층의 기회이기도 하다. 둘째는 수직 통합을 통한 서빙 효율이다. 자체 실리콘, AMD로의 이동, 활용률 개선으로 한계비용 자체를 남보다 낮추는 것—앞서 인용된 2.75배 격차가 바로 이 싸움터다. 이 두 길 중 어느 쪽도 택하지 않고 두꺼운 마진의 API 판매에만 기대는 전략이 가장 위태롭다.
동시에 상품화가 곧 파이의 축소를 뜻하지는 않는다는 반작용도 계산에 넣어야 한다. 토큰당 가격이 내려가면 사용량은 역사적으로 팽창해 왔다(제번스 역설). 코드 리뷰를 상시 돌리고, 로그를 통째로 스캔하고, 에이전트가 수백 번 재시도하는 사용 패턴은 토큰이 쌀 때 비로소 경제성이 생긴다. 그 결과 토큰당 마진이 얇아져도 총 추론 지출은 오히려 커질 수 있다. 상품화는 파이를 없애는 게 아니라 이익 풀의 위치를 옮긴다. 마진이 증발하는 게 아니라 이동한다는 표현이 더 정확하다.
실무자에게 함의는 구체적이다. 첫째, 워크로드별로 라우팅하라. 대략 80%의 작업은 값싼 오픈 모델로 충분하고, 최고를 요구하는 20%에만 프런티어를 붙이는 조합이 총비용을 최적화한다. 며칠 전 벤치마크 글이 남긴 운영 노하우—값싼 모델로 다중 패스 스캔을 돌린 뒤 더 강한 모델로 중복을 제거하는 조합—가 여기에 그대로 적용된다. 둘째, 스티커 가격이 아니라 총비용을 보라. $/Mtok 숫자만 비교하면 캐싱 경제학, ZDR 계약, 지연시간(latency), 처리량 SLA 같은 실제 마찰을 놓친다. pants2가 지적한 그 마찰들이 전환의 실질 비용이다. 셋째, 락인은 피하되 전환 마찰은 정직하게 계상하라. 엔드포인트를 바꾸는 것은 쉬워도, 그 엔드포인트에 얽힌 캐싱·계약·평가 파이프라인을 옮기는 것은 쉽지 않다.
시점과 불확실성도 명시해야 공정하다. 이 글은 명시적으로 “1부”이며, 붕괴의 시점표(timeline)도, 2차 효과의 정량 모델도 아직 제시하지 않았다. 90%와 60%라는 수치는 저자 스스로 오차 범위를 인정한 추정치다. GLM의 서빙 원가 하한은 누가 어떤 하드웨어로 돌리느냐에 따라 움직인다. 따라서 이 논증은 방향으로 읽어야지 일정표로 읽어선 안 된다. “언제”가 아니라 “어느 쪽으로”에 대한 주장이다.
결론
두 개의 진실을 동시에 쥐어야 이 논쟁이 제대로 읽힌다. 하나, 추론은 지금도 토큰 단위에서 대단히 수익성 높은 사업이다. 순수 컴퓨트 대비 90% 마진이라는 저자의 추정이 맞다면, “모두가 요청마다 손해를 본다”는 통념은 틀렸다. 둘, 바로 그 두꺼운 마진이야말로 오픈 웨이트와 경쟁 서빙과 저렴한 실리콘이 겨냥하도록 설계된 표적이다. 잘 남는 장사이기 때문에 무너지는 것이지, 밑지는 장사여서 무너지는 게 아니다.
리드 질문으로 돌아가자. 오픈 웨이트가 추론 비용을 바닥으로 끌어내리는 지금, 프런티어의 마진은 붕괴하는가, 아니면 스택 위로 이동할 뿐인가. 정직한 답은 “상품 계층에서는 실제로 붕괴하고, 그 이익은 프리미엄 프런티어 계층과 애플리케이션·하니스 계층으로 이동한다”이다. ‘붕괴’라는 단어는 이익의 증발을 연상시키지만, 더 정확한 그림은 이익 풀의 재배치다. 마진은 사라지는 게 아니라 자리를 옮긴다. Bezos의 격언이 양날인 이유가 여기 있다. 프런티어의 마진을 노리는 서빙 사업자의 기회는, 동시에 모델 계층의 마진을 노리는 앱 계층의 기회이기도 하다.
지켜볼 지점은 두 가지다. 하나는 요청당 마진과 회사 단위 이익 사이의 간극—끝없이 돌아가는 학습 러닝머신이 그 간극을 얼마나 오래 감당할 수 있는가. 다른 하나는 프런티어 랩이 바닥에서 올라오는 상품화의 수위가 자신을 삼키기 전에, 스택 위로 충분히 빠르게 이동하는 데 성공하는가. 능력 논쟁은 이미 “따라잡혔는가”에서 “따라잡힌 다음”으로 넘어갔다. 이제 프런티어의 진짜 시험은 벤치마크 점수가 아니라 손익계산서다.
출처: