Kolibri가 말하는 「주권」 — 독일산 오픈 웨이트 모델은 무엇을 소유하는가

언어 모델의 「주권」은 학습 데이터와 연산 장소의 속성인가, 아니면 그 가중치를 받아 든 사용자가 갖게 되는 통제권의 속성인가?

도입

2026년 10월 3일, 독일 통일의 날에 Aleph Alpha는 새 모델 Kolibri를 공개했다. 발표문 제목은 「Kolibri Has Landed: A Sovereign Open-Weight Model」. 영어·독일어 이중 언어 Mixture-of-Experts 트랜스포머로, 총 파라미터 78B 중 토큰당 활성 파라미터는 약 3B다. 컨텍스트는 최대 1M 토큰을 지원하고, 전체 가중치는 Hugging Face에서 Apache 2.0 라이선스로 받을 수 있다. 해커뉴스에서 이 발표는 713점을 받았고, 같은 날 IBM의 AI 엔지니어 Tejas Kumar가 쓴 해설 「Aleph Alpha Kolibri: How the sovereign German LLM works」도 424점을 받아 두 스레드가 사실상 하나로 합쳐졌다.

흥미로운 것은 모델 자체보다 「주권(sovereign)」이라는 단어다. 발표문은 이 단어를 제목에 올렸고, 해커뉴스 댓글의 상당수도 성능이 아니라 이 단어를 두고 싸웠다. 이 블로그는 6월 30일에 EU 디지털 신원 지갑이 구글과 애플의 플랫폼에 기대는 역설을 다룬 적이 있다. 그때의 질문이 「인프라를 남이 쥐고 있을 때 주권이란 무엇인가」였다면, 이번 질문은 조금 다르다. 가중치를 공개한 모델에서 주권은 어디에 있는가. 그리고 그 모델을 만든 회사가 곧 캐나다 회사의 일부가 될 때, 그 단어는 무엇을 보증하는가.

Aleph Alpha가 정의한 주권, 그리고 공개한 숫자

먼저 발표문이 스스로 내린 정의부터 옮겨 두자. Aleph Alpha에게 주권은 두 차원의 결합이다. 하나는 모델을 어떻게 만들었는가이고, 다른 하나는 그것이 고객에게 어떻게 넘어가는가다. 전자에 대해 발표문은 팀이 독일에서 모델을 만들었고, 독일과 핀란드의 인프라에서, 유럽과 독일 법 아래, 외국의 통제 없이 학습했다고 쓴다. 데이터 큐레이션부터 사전·사후 학습, 최적화까지 파이프라인 전체를 자신들이 소유한다는 점이 주권의 토대라는 설명이다. 후자에 대해서는 고객이 배포의 완전한 자유와 지적 재산의 안전을 얻으므로 「컴플라이언스가 상속되는 속성」이 된다고 말한다. EU AI Act, 범용 AI 행동 규범(GPAI Code of Practice), GDPR을 처음부터 염두에 두고 만들었다는 문장도 있다.

숫자는 꽤 구체적이다. 사전 학습은 16k 시퀀스 길이로 20T 토큰을 21일간, 중간 학습은 64k로 3.44T 토큰, 장문 적응은 256k로 200B 토큰. 합계 약 24T 토큰이다. Kumar의 해설에 따르면 학습에는 NVIDIA B200 768장이 쓰였다. 사전 학습 데이터 구성은 영어 약 62%, 코드 14%, 독일어 21.3%(약 4.3T 토큰)다. 50개 층 중 40개는 512 토큰 슬라이딩 윈도 어텐션을 쓰고 5층마다 하나씩만 전체 컨텍스트를 본다. 각 층에는 384개의 작은 전문가와 1개의 공유 전문가가 있고, 라우터는 토큰마다 6개를 고른다.

독일어 데이터를 확보한 방법은 이 발표에서 가장 읽을 만한 대목이다. 소형 프록시 모델 실험에서 독일어 약 20%가 최적이었고, 20T 규모라면 독일어 4T 토큰이 필요했다. 그런데 공개 독일어 데이터셋은 중복 제거와 필터링 후 390B 토큰밖에 남지 않았다. 그래서 세 가지 방법을 썼다. 첫째, Common Crawl에서 독일어를 직접 큐레이션했다. 평균 단어 길이가 긴 문서를 걸러내는 표준 필터는 독일 행정 문체를 조용히 지워 버리기 때문에 파라미터를 다시 조정해야 했고, 그 결과 1.3T 토큰을 얻었다. 둘째, 이미 가진 독일어 문서를 LLM으로 백과사전 항목, 문답, 본문 형식으로 바꿔 쓰는 리프레이징으로 약 1T 토큰을 만들었다. 셋째, 영어를 독일어로 번역하는 방법은 이전 모델인 Kolibri Origin에서만 썼다. 번역된 말뭉치는 영어 웹의 지리적·제도적 분포를 물려받아, 발표문의 표현대로 「미국처럼 보이는 세계에 대해 독일어로 말하는」 모델을 만들기 때문이다.

토크나이저도 같은 방향이다. UniBPE라는 새 방식으로 학습한 128k 어휘 토크나이저는 독일어 복합어의 형태소 경계를 존중한다. Kumar는 직접 실험을 했다. 독일 기본법 전문(185KB)을 여섯 개 토크나이저로 세었더니 Kolibri가 35,190 토큰, GPT-4o와 GPT-5가 쓰는 o200k_base가 41,482 토큰으로 후자가 17.9% 많았다. 영어 공식 번역본에서는 거의 동률이었다. 「Bundesverfassungsgericht(연방헌법재판소)」가 o200k_base에서는 6개 토큰, Kolibri에서는 2개 토큰으로 쪼개진다는 예시도 들었다.

프런티어와의 거리, 그리고 공개된 약점

성능은 어떤가. 발표문의 주장은 「품질 대 서빙 비용」의 파레토 프런티어 위에 있다는 것이다. 같은 서빙 비용에서 더 높은 품질을, 혹은 같은 품질을 더 싸게 내는 비교 모델이 없다는 뜻이다. Kumar가 정리한 표에서 Kolibri는 활성 파라미터 3B 안팎의 모델 중 종합 점수 영어 75.5, 독일어 70.8로 Qwen3.5 35B-A3B(74.7 / 69.8)를 근소하게 앞선다. AIME 2025 독일어판에서 87.5로 Nemotron 3 Nano(84.4)를 앞서고, 1M 토큰 장문 테스트(RULER, 베이스 모델)에서 63.2를 기록했다.

그러나 이 글의 미덕은 약점도 같은 크기로 적었다는 데 있다. Kumar에 따르면 Aleph Alpha는 모델 카드에 가장 약한 항목을 가장 강한 항목 바로 옆에 실었다. 문서 없이 묻는 폐쇄형 지식 테스트에서는 비교한 12개 모델 중 꼴찌(51.0)다. 다중 턴 도구 호출(BFCL)은 39.8로 GLM-4.7 Flash의 58.2에 한참 못 미친다. Terminal-Bench 2.1은 27.7로 Qwen3.5 35B-A3B의 39.7보다 낮고, SWE-bench Verified는 66.4로 Qwen3.6 35B-A3B의 73.8보다 낮다. 그리고 결정적으로, 밀집(dense) 모델인 Qwen3.8 27B는 영어 80.2, 독일어 79.9로 Kolibri를 크게 앞선다. 토큰당 거의 8배의 파라미터를 쓰긴 하지만 말이다.

해커뉴스의 반응은 이 대목에서 갈렸다. sajithdilshan은 기억 지식도 약하고, 다중 턴 도구 호출도 약하고, 코딩 에이전트도 최고가 아니라면 대체 무엇을 잘하느냐고 비꼬았다(직접 인용은 아니고, 코멘트의 요지를 요약). amoshebb는 Kolibri의 하니스, Kolibri의 벤치마크에서조차 Qwen3.8 27B가 독일어 79.9 대 70.8로 이긴다고 짚었다(직접 인용은 아니고, 코멘트의 요지를 요약). spijdar는 활성 6B급 MoE인 Qwen3.8 Flash와의 비교가 빠지고, 대신 거의 1년 전에 나온 Qwen3-Next 80B-A3B와 비교한 점이 눈에 띈다고 지적했다(직접 인용은 아니고, 코멘트의 요지를 요약).

반대편 목소리도 있었다. hypfer는 이 모델을 무시하는 사람들이 모든 사용 사례가 실리콘밸리식 앱 코딩은 아니라는 점을 놓친다고 썼다. 독일어로 들어오는 지원 문의를 기존 사례에 비추어 자동 처리하되, 그 데이터를 클라우드 API로 흘려보내지 않는 업무가 진짜 대상이라는 것이다(직접 인용은 아니고, 코멘트의 요지를 요약). 이 말은 발표문의 포지셔닝과 정확히 겹친다. Aleph Alpha는 공공 행정, 제조, 항공우주 같은 규제 영역을 겨냥했고, 반도체·독일 공공 부문·항공우주·자동차 부품·산업용 구동 장치 다섯 분야의 고객 대리 벤치마크를 따로 만들어 그중 넷에서 선두이거나 동률이라고 밝혔다.

여기서 눈여겨볼 것은 「모른다고 말하기」다. Merlin-Arthur 프로토콜이라는 자체 학습 방식은 세 플레이어의 게임이다. Merlin은 답을 찾기 쉬워지도록 문서를 가리고, Morgana는 답의 근거를 지워 Arthur(학습 대상 모델)를 환각으로 유인한다. Arthur는 어느 쪽을 상대하는지 모르므로, 눈앞의 증거가 답을 뒷받침하는지 실제로 확인하는 것만이 이기는 전략이 된다. Kumar에 따르면 Artificial Analysis의 Omniscience 테스트에서 Kolibri는 답을 모를 때 44%의 경우 지어내는 대신 모른다고(또는 부분 답을) 말했다. Qwen3.5 35B-A3B는 11.1%였다. 다만 같은 테스트의 정답률은 14.8%로 Qwen3.5(22.2%)보다 낮다. 아는 것은 적고, 모르는 것을 아는 능력은 높다. 규제 산업 고객에게 이 조합이 의미 있는 이유를 발표문은 「파일럿과 실제 배포를 가르는 차이」라고 표현한다.

현장의 반증도 하나 있었다. gpugreg는 독일 웹사이트의 연락처 고지(잘못 쓰면 500유로 정도의 비용이 들 수 있다는)를 물었더니, 2024년부터 디지털 서비스법(DDG)으로 대체된 텔레미디어법(TMG)을 근거로 들었다고 보고했다(직접 인용은 아니고, 코멘트의 요지를 요약). 독일 행정에 특화했다는 모델이 독일 행정의 최신 법령을 놓친다는 것, 이것이 「특화」가 아직 약속 단계라는 신호일 수 있다. 물론 한 사람의 한 번의 질문이라는 점은 감안해야 한다.

주권의 네 층위 — 데이터, 연산, 라이선스, 지배 구조

이제 처음의 질문으로 돌아가자. 모델의 주권은 무엇으로 이루어지는가. 나는 이것을 네 층위로 나눠 보는 것이 유용하다고 본다. 학습 데이터, 연산 장소, 라이선스, 그리고 회사의 지배 구조다. Kolibri는 이 네 층위에서 서로 다른 점수를 받는다.

첫째, 데이터. Aleph Alpha는 데이터 수집부터 평가까지 모든 결정을 설명할 수 있다고 말하고, 189쪽짜리 기술 보고서를 공개했다. miellaby는 데이터셋을 만든 방법까지 튜토리얼처럼 설명한 이 정도의 개방성은 처음 본다고 평했다(직접 인용은 아니고, 코멘트의 요지를 요약). 그러나 Kumar는 「주권은 유럽 밖의 것이 아무것도 들어가지 않았다는 뜻이 아니다」라고 정리한다. 모델 카드 스스로 영어 웹 텍스트는 구글의 Gemma 4로, 독일어는 Mistral-NeMo로 리프레이징했고, 품질 필터용 라벨은 Qwen3-32B가 붙였다고 밝힌다. 이후 그런 모델이 지닐 수 있는 정치적 편향을 걸러냈다고 한다. dosinga가 독일어 리프레이징에 쓴 「LLM」이 무엇이며 그것이 어떻게 주권적이냐고 물은 것도 이 지점이다(직접 인용은 아니고, 코멘트의 요지를 요약). 데이터의 주권은 「출처를 숨기지 않는다」는 의미에서는 성립하지만, 「출처가 전부 국내」라는 의미로는 성립하지 않는다.

둘째, 연산. 독일과 핀란드 인프라에서 학습했다는 것은 사실로 제시돼 있다. 그러나 shevy-java가 지적했듯 하드웨어 자체는 주권적이지 않다(직접 인용은 아니고, 코멘트의 요지를 요약). B200은 미국 회사의 칩이다. 연산 장소의 주권은 「어디서 돌렸는가」이지 「무엇으로 돌렸는가」가 아니다.

셋째, 라이선스. 여기가 Kolibri의 주권 주장이 가장 단단한 곳이다. Apache 2.0으로 가중치가 공개되면, 그 순간 주권은 회사에서 사용자에게로 이동한다. Kumar의 표현대로 부처나 자동차 부품 회사가 자기 서버에서 돌리면 데이터는 건물을 떠나지 않고, 누구도 그 아래에서 모델을 바꾸거나 끌 수 없다. 단, 라이선스가 덮는 것은 가중치와 설정 파일이고, 학습 코드와 방법에 대한 권리는 Aleph Alpha가 보유한다. 그리고 실행에는 Aleph Alpha의 vLLM 플러그인이 필요하며, 이 플러그인은 한 번에 하나의 vLLM 버전(현재 0.29)만 지원한다. 가중치는 열려 있지만 실행 경로는 아직 한 회사의 손을 거친다.

넷째, 지배 구조. 발표문이 말하지 않은 것이 여기에 있다. Futurum Group의 4월 분석에 따르면 캐나다의 Cohere는 2026년 4월 24일 Aleph Alpha와의 결합을 발표했고, 결합 후 지분은 Cohere 주주 약 90%, Aleph Alpha 주주 약 10%로 예상된다. SiliconANGLE에 따르면 두 회사는 9월 16일 합병 계약에 서명했고, 규제 승인 후 Cohere 브랜드로 운영되며 베를린과 토론토에 이중 본사를 둔다. 하이델베르크 본사는 AI 연구 센터가 된다. amoshebb는 인수가 완료된 뒤에도 90% 소유에 토론토에서 운영되는 회사가 「주권」을 말할 수 있느냐고 물었고, tomComb은 그 사실을 숨길 필요가 없다며 오히려 미국·중국이 아닌 소수의 회사들이 비용을 나눠야 한다고 주장했다(둘 다 직접 인용은 아니고, 코멘트의 요지를 요약).

이 네 층위를 놓고 보면 역설이 선명해진다. 회사의 지배 구조가 독일 밖으로 이동하는 바로 그 시점에, 회사는 가장 강한 형태의 주권, 즉 Apache 2.0 오픈 웨이트를 내놓았다. 가중치가 공개된 이상, Kolibri 1이라는 특정 아티팩트의 주권은 합병의 결과와 무관하게 사용자 손에 남는다. 회사의 주권은 흔들리지만 모델의 주권은 이미 이전되었다. 어쩌면 이것이 「주권 모델」이라는 말의 가장 정직한 독해일지 모른다.

Aleph Alpha의 궤적과 시사점

Aleph Alpha의 경로도 이 독해를 뒷받침한다. Futurum에 따르면 회사는 2023년 11월 Schwarz Group, SAP, Bosch, HPE가 이끈 5억 달러 규모의 시리즈 B를 받았지만(실제 유입액은 헤드라인보다 적었다는 보도가 있었다고 한다), 이후 OpenAI·Anthropic·Google과 파운데이션 모델 성능으로 직접 경쟁하는 길이 현실적이지 않다고 판단하고 PhariaAI라는 엔터프라이즈·공공용 운영 계층으로 방향을 틀었다. 창업자 Jonas Andrulis는 2025년 말 CEO에서 물러났다. 해커뉴스에서 9dev는 인재가 떠났고 다른 연구소를 따라잡지 못했다고 혹평했다(직접 인용은 아니고, 코멘트의 요지를 요약).

그런데 Kolibri는 그 궤적의 반대 방향을 가리킨다. 학습팀의 일원이라고 밝힌 peterBlue75는 이것이 1년이 채 안 된 팀의 첫 릴리스이며 반복 속도에 집중했다고 썼다(직접 인용은 아니고, 코멘트의 요지를 요약). 발표문의 「Model Factory」 절은 이를 구체적으로 보여 준다. 1월에 파이프라인 작업을 시작해 6월 11일 Kolibri Origin(30B, 65k 컨텍스트, 7.5T 토큰)의 사전 학습을 마쳤고, 3개월 뒤인 9월 11일 Kolibri(78B, 최대 1M, 20T 토큰)의 사전 학습을 마쳤다. 모든 코드 변경이 소규모 엔드투엔드 학습을 트리거하고, 학습 실행은 GitHub Actions 워크플로이며, 재현은 커밋 체크아웃으로 끝난다. 21일간의 사전 학습에서 38번의 계획 외 중단이 있었지만 모두 사람 개입 없이 다른 노드에서 재시작되었다. 발표문은 스스로 이것이 「쉬운 방향」이었다고 인정한다. 파라미터와 데이터를 늘리고, 잘 알려진 아키텍처로, 여전히 작은 규모에서. 그리고 올해 만든 가장 오래 남을 것은 파이프라인이 아니라 LLM을 처음부터 만들어 낼 수 있는 팀이라고 쓴다.

시사점은 세 가지로 정리할 수 있다. 하나, 「주권 모델」의 경쟁 상대는 프런티어 모델이 아니라 같은 체급의 중국산 오픈 웨이트 모델이다. 비교표가 Qwen, Nemotron, GLM으로 채워진 것이 그 증거다. 규제 영역의 구매자가 실제로 고르는 선택지는 「GPT 대 Kolibri」가 아니라 「온프레미스 Qwen 대 온프레미스 Kolibri」다. 둘, 그 경쟁에서 Kolibri가 내세우는 차별점은 점수보다 감사 가능성이다. niemandhier가 지금 주권 모델이 가장 잘해야 하는 일은 다른 모델의 결과를 감사하는 「신뢰 어댑터」 역할일지 모른다고 쓴 것은 이 방향을 정확히 짚는다(직접 인용은 아니고, 코멘트의 요지를 요약). 셋, Futurum의 Nick Patience가 말했듯 주권 서사는 유럽 공공·규제 산업 판매의 필요조건이지만, 성능이 경쟁력을 갖추지 못하면 지속적 성장의 충분조건은 되기 어렵다. 다만 이 판단은 아직 추정의 영역이다. 주권 AI가 지속적인 시장 범주인지, 지금의 지정학적 순간에 대한 반응인지는 아직 데이터가 말해 주지 않는다.

결론

Kolibri는 프런티어 모델이 아니다. 발표문도 그렇게 주장하지 않는다. 그것은 3B 활성 파라미터로 독일어를 효율적으로 읽고, 근거가 없으면 모른다고 말하도록 훈련된, 온프레미스용 모델이다. 그리고 같은 체급에서도 모든 항목에서 이기지는 못한다. 밀집 27B 모델에게는 큰 차이로 진다.

그러나 「주권」을 네 층위로 나눠 보면, 이 모델이 무엇을 실제로 넘겨주는지가 보인다. 학습 데이터에는 미국과 중국 모델의 손자국이 남아 있고, 하드웨어는 미국산이며, 회사는 곧 캐나다 회사의 일부가 된다. 남는 것은 라이선스다. Apache 2.0으로 공개된 78B의 가중치와 189쪽의 기술 보고서는 회사의 소유 구조가 어떻게 바뀌든 회수되지 않는다. 주권은 만든 쪽이 주장하는 속성이 아니라, 받는 쪽이 행사할 수 있는 통제권이라는 의미에서, Kolibri는 그 단어의 최소한의 정의를 충족한다.

당신의 조직이 「주권 AI」를 요구한다면, 그 요구가 네 층위 중 어디를 가리키는지 먼저 물어볼 일이다. 데이터의 출처인가, 연산의 장소인가, 가중치에 대한 권리인가, 공급자의 국적인가. 답에 따라 Kolibri는 충분한 선택지일 수도, 전혀 아닐 수도 있다.

출처: