OCR 의 부활: 풀린 문제가 다시 뜨거워진 이유
OCR 의 부활: 풀린 문제가 다시 뜨거워진 이유
Tesseract 와 클라우드 OCR API 로 ‘풀렸다’ 고 여겨진 문제가, 같은 날 두 개의 모델로 Hacker News 상위권을 차지했다. 풀린 문제가 다시 뜨거워진다는 것은 무슨 의미인가.
도입 — 같은 날, OCR 모델 둘이 상위권에 오른 풍경
2026 년 6 월 23 일 (KST), Hacker News 의 첫 페이지에 OCR 모델 두 개가 나란히 올랐다. 하나는 Mistral 이 발표한 “Mistral OCR 4” 로 498 점에 댓글 134 개, 다른 하나는 Baidu 가 공개한 “Unlimited OCR: One-shot long-horizon parsing” 으로 491 점에 댓글 110 개였다. 상용 lab 의 상업 모델과 오픈소스 연구 모델이 같은 날, 거의 같은 점수로, 같은 주제 위에 섰다는 사실은 우연으로 보기 어렵다.
OCR (광학 문자 인식) 은 컴퓨터 비전의 가장 오래된 문제 가운데 하나다. 1970 년대의 우편번호 인식부터, Tesseract 같은 오픈소스 엔진, Google·AWS·Azure 의 클라우드 OCR API 까지, 이 문제는 오래전에 ‘풀렸다’ 고 여겨졌다. 인쇄된 글자를 텍스트로 바꾸는 일은 더 이상 연구 주제가 아니라 API 호출 한 줄의 상품이었다. 그런데 2026 년의 한 날, 그 풀린 문제가 두 개의 새 모델로 다시 커뮤니티의 상위권에 올랐다. 이 글이 묻는 것은 단순하다. 왜 지금 OCR 인가. 그 답은 OCR 이라는 단어의 정의가 조용히 바뀌었다는 사실에 있다.
두 모델의 해부 — 구조를 읽는 OCR, 한 번에 읽는 OCR
먼저 두 모델이 무엇을 내세웠는지 본다. 둘은 접근이 다르지만, 가리키는 방향은 같다.
Mistral OCR 4 — 추출이 아니라 구조화. Mistral 이 2026 년 6 월에 내놓은 이 모델은 스스로를 단순 OCR 이 아니라 “문서 인텔리전스 (document intelligence)” 모델로 규정한다. PDF, Word, PowerPoint, OpenDocument 를 입력으로 받아, 텍스트를 뽑는 데서 그치지 않고 그 텍스트를 구조화한다. 각 블록에 바운딩 박스를 매기고, 그 블록이 제목인지 표인지 수식인지 서명인지 분류하며, 페이지와 단어 단위로 신뢰도 점수 (confidence score) 를 인라인으로 붙인다. 즉 출력이 평평한 텍스트 한 덩어리가 아니라, 좌표와 분류와 확신도를 가진 구조화된 객체다.
언어 폭도 넓다. 10 개 언어군에 걸친 170 개 언어를 다루며, 특히 학습 데이터가 적은 저자원 (low-resource) 언어에서 강점을 내세운다. 배포 측면에서는 단일 컨테이너로 자가 호스팅 (self-hosted) 이 가능하다는 점을 강조했는데, 이는 문서를 외부로 내보낼 수 없는 기업의 데이터 주권 (data sovereignty) 요구를 정면으로 겨눈 설계다. 가격은 1000 페이지당 4 달러, 배치 API 로는 2 달러, 구조화 JSON 을 돌려주는 Document AI 는 1000 페이지당 5 달러다. 한 사용자는 선도적인 에이전트형 문서 파서 대비 “동등한 정확도를 8 배 낮은 비용과 17 배 낮은 지연 (latency) 으로” 얻었다고 보고했다.
Baidu Unlimited-OCR — 한 번에 긴 문서를 읽는다. Baidu 의 모델은 다른 축을 건드린다. DeepSeek-OCR 을 기반으로 삼아, “한 번에 긴 지평을 파싱한다 (one-shot long-horizon parsing)” 는 표어를 내세운다. 핵심은 긴 문서를 잘라 여러 번 추론하지 않고, 단일 추론으로 통째 처리한다는 것이다. 32,768 토큰의 맥락 길이를 두고, 해상도와 효율의 절충이 다른 “gundam” 과 “base” 두 모드를 제공한다. 단일 이미지는 Huggingface Transformers 로, 다중 페이지는 SGLang 으로 돌린다. 반복 출력을 막기 위해 no-repeat n-gram 제약을 둔 커스텀 logit processor 를 붙였다는 점도 눈에 띈다 — 비전-언어 모델이 같은 구절을 무한 반복하는 고질병에 대한 직접적 대응이다.
Baidu 가 자기 작업을 부르는 이름은 “텍스트 추출” 이 아니라 “문서 파싱 (document parsing)” 이다. 구조, 레이아웃, 의미적 관계까지 읽는다는 뜻이다. 공개 시점에 GitHub 별 9.2k, 포크 713 개를 모았고, arXiv 논문 (2606.23050) 으로 방법을 공개했다. 두 모델은 형태가 다르지만 — 하나는 상업 API, 하나는 오픈 가중치 — 같은 한 가지를 공유한다. 둘 다 비전-언어 모델 (VLM) 위에 서 있고, 둘 다 출력으로 평평한 텍스트가 아니라 구조를 돌려준다는 것이다.
왜 지금인가 — 텍스트 추출에서 문서 이해로
풀린 문제가 다시 뜨거워진 까닭은, 그 문제를 둘러싼 수요가 바뀌었기 때문이다. 그 수요의 이름은 LLM 과 RAG 다.
고전 OCR 이 버린 것. Tesseract 와 클라우드 OCR API 는 한 가지 일을 잘했다. 픽셀을 글자로 바꾸는 일이다. 그러나 그 과정에서 한 가지를 버렸다. 구조다. 표의 칸 경계, 다단 (multi-column) 의 읽기 순서, 제목과 본문의 위계, 각주와 본문의 관계 — 이 모든 레이아웃 정보가 고전 OCR 의 출력에서는 사라진다. 인간이 종이를 읽을 때 가장 먼저 쓰는 정보가, 텍스트 한 줄로 평탄화되며 증발하는 것이다. 인쇄물을 검색 가능한 텍스트로 바꾸는 시대에는 그 손실이 문제가 아니었다. 어차피 사람이 다시 읽을 것이었기 때문이다.
RAG 가 요구하는 것. LLM 시대에 문서를 읽는 주체가 바뀌었다. 이제 문서를 먹는 쪽은 사람이 아니라 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 파이프라인이다. RAG 는 문서를 의미 단위로 쪼개 (chunking) 벡터로 색인하고, 질문이 오면 관련 조각을 끌어와 LLM 에 먹인다. 이때 구조가 없으면 모든 단계가 무너진다. 표가 평평한 텍스트로 뭉개지면 셀 사이의 관계가 사라지고, 다단의 읽기 순서가 틀리면 문장이 뒤섞이고, 제목과 본문의 위계가 없으면 의미 단위 분할이 엉뚱해진다. RAG 가 인용 가능한 (citation-ready) 답을 내놓으려면, 문서가 어디서 왔는지를 좌표 단위로 알아야 한다. 바로 Mistral OCR 4 가 바운딩 박스와 블록 분류를 출력하는 이유다.
이 수요의 전환을 한 줄로 줄이면 이렇다. OCR 의 정의가 “텍스트 추출 (text extraction)” 에서 “문서 이해 (document understanding)” 로 옮겨갔다. 픽셀을 글자로 바꾸는 것은 더 이상 목표가 아니다. 픽셀에서 구조와 의미와 관계를 함께 끌어내는 것이 목표다. 그리고 그 일은 고전 OCR 엔진이 할 수 없다. 그 일을 하는 것이 비전-언어 모델이다. VLM 은 이미지와 텍스트를 같은 표현 공간에서 다루므로, 글자만이 아니라 그 글자가 놓인 레이아웃을 함께 읽는다. 풀린 줄 알았던 문제가 다시 열린 까닭은, 문제가 더 어려워진 것이 아니라, 문제의 정의가 바뀌었기 때문이다.
optical compression 이라는 역설. 이 전환에서 가장 흥미로운 갈래가 DeepSeek-OCR 이 개척한 광학 압축 (optical compression) 이다. 발상은 거꾸로다. 보통 OCR 은 이미지에서 텍스트를 꺼낸다. 그런데 DeepSeek-OCR 의 통찰은, 텍스트를 이미지로 인코딩하면 같은 정보를 더 적은 토큰으로 LLM 의 맥락에 욱여넣을 수 있다는 것이다. 글자 1000 개를 텍스트 토큰으로 넣으면 1000 개 가까운 토큰을 먹지만, 그것을 한 장의 이미지로 압축하면 훨씬 적은 비전 토큰으로 표현된다. OCR 이 단순한 입력 변환기가 아니라, 긴 문서를 LLM 맥락에 욱여넣는 압축 계층이 되는 것이다. Baidu Unlimited-OCR 이 DeepSeek-OCR 을 기반으로 삼아 한 번에 긴 문서를 읽을 수 있는 까닭이 여기에 있다. OCR 이 LLM 의 전처리기를 넘어, LLM 의 맥락 경제를 재설계하는 도구가 되었다.
오픈과 상업의 경쟁, 그리고 VLM OCR 의 대가
두 모델이 같은 날 상위권에 오른 풍경은 한 산업의 경쟁 구도를 압축한다. 한쪽에는 DeepSeek 에서 Baidu 로 이어지는 오픈 가중치 계보가 있고, 다른 쪽에는 Mistral 같은 상업 API 가 있다. 오픈 쪽은 자가 호스팅과 미세 조정의 자유를 무기로 삼고, 상업 쪽은 품질과 운영 편의를 무기로 삼는다. 흥미롭게도 Mistral 조차 단일 컨테이너 자가 호스팅을 내세웠다는 점은, 문서라는 데이터의 민감성이 이 시장을 보통의 API 시장과 다르게 만든다는 신호다. 문서는 계약서이고 의료 기록이고 재무제표다. 외부로 내보낼 수 없는 데이터가 많을수록, 자가 호스팅 가능한 오픈 모델의 자리가 넓어진다.
그러나 VLM 기반 OCR 은 공짜가 아니다. 대가가 셋이다.
첫째, 속도와 비용. 고전 OCR 은 가볍다. CPU 에서도 페이지를 밀리초 단위로 처리한다. VLM 기반 OCR 은 무겁다. GPU 위에서 수십억 파라미터의 추론을 돌려야 하고, 그래서 느리고 비싸다. 한 사용자가 보고한 “8 배 낮은 비용, 17 배 낮은 지연” 은 인상적이지만, 그 비교 대상이 더 무거운 에이전트형 파서였다는 점을 잊으면 안 된다. Tesseract 와 비교하면 VLM OCR 은 여전히 수십 배 비싸다. 모든 문서에 VLM 을 쓸 이유는 없다. 단순한 인쇄 텍스트라면 고전 OCR 이 여전히 정답이다.
둘째, 환각. 이것이 가장 무거운 대가다. 고전 OCR 은 글자를 잘못 읽을 수는 있어도, 없는 글자를 지어내지는 않는다. 그러나 VLM 은 본질적으로 생성 모델이다. 흐릿한 영역을 마주하면, 보이는 것을 읽는 대신 그럴듯한 것을 지어낼 수 있다. 숫자 하나가 바뀐 재무제표, 없던 조항이 생긴 계약서는 단순한 인식 오류보다 위험하다. 오류가 그럴듯해서 검출하기 어렵기 때문이다. Baidu 가 no-repeat n-gram 제약을 logit processor 에 넣은 것도 이 생성적 본성의 부작용 — 무한 반복 — 에 대한 방어다. VLM OCR 을 고위험 문서에 쓸 때 신뢰도 점수와 사람 검수가 필수인 까닭이 여기에 있다.
셋째, 벤치마크의 신뢰성. Mistral 은 인간 평가자가 72% 의 비율로 자기 모델을 선호했고, OlmOCRBench 에서 85.20, OmniDocBench 에서 93.07 로 최상위라고 밝혔다. 그러나 같은 발표에서 Mistral 은 벤치마크의 한계를 이례적으로 솔직히 인정했다 — 정답 (ground-truth) 자체의 오류, 수식 표기의 불일치, 다단 읽기 순서의 모호함. 그래서 자기 벤치마크 숫자를 믿지 말고 “당신의 문서로 직접 시험하라” 고 권한다. 풀렸다고 여겨졌던 문제가 다시 열린 영역에서는, 정답이 무엇인지조차 합의되지 않았다는 뜻이다. 벤치마크 숫자의 경쟁이 아직 신뢰할 만한 단계에 이르지 못했다는 점은, 이 분야가 성숙이 아니라 초입에 있음을 역으로 증명한다.
결론 — 풀린 문제는 정의가 바뀔 때 다시 열린다
같은 날 OCR 모델 둘이 상위권에 오른 풍경의 의미는 분명하다. OCR 은 풀린 문제였다가, 정의가 바뀌면서 다시 열린 문제가 되었다. 픽셀을 글자로 바꾸는 일은 여전히 풀려 있다. 그러나 픽셀에서 구조와 의미를 끌어내 LLM 에 먹이는 일은 이제 막 열렸다. Mistral OCR 4 의 바운딩 박스와 블록 분류, Baidu Unlimited-OCR 의 한 번에 읽는 긴 지평, DeepSeek 의 광학 압축은 모두 같은 전환의 변종이다 — 텍스트 추출에서 문서 이해로.
이 전환이 가리키는 더 큰 함의가 하나 있다. AI 의 다음 병목은 모델이 아니라 데이터 수급, 그 가운데서도 세상에 종이와 PDF 로 잠겨 있는 방대한 문서의 디지털화라는 것이다. 인류의 지식 상당량은 여전히 구조화되지 않은 문서 안에 있다. 그 문을 여는 열쇠가 OCR 이고, 그 열쇠가 VLM 으로 다시 깎이고 있다. 풀린 줄 알았던 가장 오래된 문제가, 가장 새로운 수요의 최전선으로 돌아온 셈이다. 속도와 비용과 환각이라는 세 대가가 남아 있지만, 같은 날 두 모델이 받은 989 점의 합산이 가리키는 방향은 분명하다. OCR 의 두 번째 시대가 시작되었다.
출처: