AI 에이전트로 기술서를 쓸 수 없었던 이유 — 어휘는 흉내 내도 뼈대는 흉내 낼 수 없다
AI 에이전트로 기술서를 쓸 수 없었던 이유 — 어휘는 흉내 내도 뼈대는 흉내 낼 수 없다
코딩을 AI에 위임하는 방법을 다룬 책을, 저자는 왜 AI에 위임해서 쓸 수 없었는가. 실패한 것은 모델의 능력인가, 아니면 검증자 없는 작업의 본질적 한계인가.
도입
7월 25일 Qiita에 올라온 한 편의 글이 일본 엔지니어 커뮤니티에서 조용히 화제가 되었다. 제목은 도발적이다 — “AI 에이전트가 있으면 기술서쯤 금방 쓸 수 있겠지, 라고 생각했지만 무리였다”. 저자 watany는 2026년 5월에 에이전틱 코딩을 다룬 기술서를 출간한 엔지니어로, 말하자면 AI에 개발을 위임하는 방법론을 책으로 쓴 사람이다. 그런 저자가 정작 집필 자체는 AI에 위임할 수 없었다는 역설을 상세한 실패 기록과 함께 공개했다.
타이밍이 절묘하다. 2026년 상반기는 에이전틱 코딩이 “가능성”에서 “기본값”으로 넘어간 시기다. 코드베이스 전체를 에이전트에 맡기는 사례가 뉴스가 아니게 되었고, 커뮤니티의 관심은 자연스럽게 “그 다음은 무엇을 위임할 수 있는가”로 이동했다. 기술서 한 권은 그 다음 후보로 완벽해 보였다 — 산출물이 텍스트이고, 저자는 도메인 지식을 컨텍스트로 넣을 수 있으며, 분량은 코드베이스보다 작다. 그런데 실패했다. 왜인가.
이 글이 흥미로운 것은 결론(“AI로는 아직 책을 못 쓴다”)이 아니라 실패의 해부도다. 저자는 어디까지 되고 어디부터 안 되는지를 계층으로 나눠 기록했고, 그 경계선은 AI 장문 생성의 현재 위치를 정확하게 보여준다. 마침 같은 주 Hacker News에서는 “코딩이 해결됐다는데 왜 소프트웨어는 계속 나빠지는가”라는 에세이가 887포인트를 모으며 비슷한 질문을 코드 쪽에서 던지고 있었다. 생성량과 품질의 간극 — 2026년 여름 AI 실무 담론의 공통 주제다.
무엇을 시도했고 무엇이 실패했는가
저자의 시도는 체계적이었다. 단순히 “책 써줘”를 던진 것이 아니라, 에이전틱 코딩 실무자답게 파이프라인을 구축했다.
첫째, AI 냄새 제거의 자동화. AI 생성 문장 특유의 패턴 — 반복되는 어휘, 예측 가능한 구조, 남발되는 대시, 상투구 — 을 잡기 위해 humanizer 계열 도구와 textlint-rule-ai-writing 같은 린터를 파이프라인에 넣었다. 결과는 실패였다. 저자의 표현을 빌리면, 모든 AI 패턴을 제거하자 남은 것은 자연스러운 문장이 아니라 다른 종류의 편향이었다. 특징을 깎아낸 문장은 인간다워지는 것이 아니라 단조로워졌다.
둘째, 피드포워드와 피드백의 이중 하네스. 자신이 공개한 200편 이상의 기사를 스타일 참조로 주입해 문체를 모사시키고(피드포워드), AI 리뷰어가 오류·명확성·일관성을 검사하는 루프(피드백)를 돌렸다. 이쪽은 부분 성공이다. 문체 모사는 성공했다. 그러나 저자의 진단으로는 “문체는 흉내 냈지만 품질은 따라오지 않았다”.
첫 번째 실패는 곱씹을 가치가 있다. “AI 냄새 제거”는 이제 하나의 도구 생태계를 이루고 있다 — 특정 상투구를 탐지하는 린터 규칙, 어휘 분포를 인간 문장에 가깝게 재조정하는 후처리기, 대시와 병렬 구문의 빈도를 낮추는 리라이터. 그러나 이들은 모두 표층 통계를 조작할 뿐이다. AI 문장이 AI처럼 읽히는 근본 원인이 표층 패턴이 아니라 논지 전개의 획일성에 있다면, 표층을 아무리 세탁해도 “다른 종류의 편향”이 남는다는 저자의 관찰은 필연이다. 탐지기와 세탁기의 군비경쟁은 문장의 자연스러움이 아니라 부자연스러움의 종류만 바꾼다.
이 격차를 저자는 세 개의 층으로 정리한다. 기술 문장에는 어휘의 층, 리듬의 층, 구조(뼈대)의 층이 있다는 것이다. 어휘는 AI가 잘 처리했다. 리듬은 절반 — 소리 내어 읽으면 걸리는 부자연스러움이 남았고, 이것은 자동화 도구가 아니라 인간의 음독(音読)으로만 잡혔다. 그리고 구조, 즉 한 권의 책을 관통하는 논리의 뼈대는 “모사가 거의 불가능”했다.
여기서 실무적으로 유용한 디테일이 나온다. 효과가 있었던 것은 (1) 음독 — 자동 도구가 놓치는 문제를 소리가 드러낸다, (2) 사전에 인간이 짠 목차 구조 위에서 AI와 교대로 쓰는 협업 반복 — 뼈대의 통제권을 인간이 쥔다, (3) 프롬프트 엔지니어링보다 상위 모델 선택 — 저자는 잔기술보다 모델 교체가 효과적이었다고 명시한다, (4) 피드백의 언어학적 세분화 — “더 자연스럽게” 같은 모호한 지시가 아니라 연어(collocation)나 호응 같은 구체적 언어학 용어로 지적할 때 AI의 수정 품질이 올라갔다는 것이다.
왜 코드는 되고 책은 안 되는가
이 실패 기록을 구조적으로 읽으면, 핵심 변수는 모델의 능력이 아니라 검증자(verifier)의 존재다.
에이전틱 코딩이 작동하는 이유는 코드라는 산출물에 기계적 검증자가 붙어 있기 때문이다. 컴파일러가 문법을, 타입 체커가 정합성을, 테스트가 동작을 검증한다. AI가 생성한 코드가 틀리면 틀렸다는 신호가 즉시, 기계적으로, 객관적으로 돌아온다. 에이전트 루프란 본질적으로 이 검증 신호를 연료로 도는 기계다.
산문에는 이것이 없다. textlint는 문법과 표기 규칙을 잡을 뿐, “이 장의 논증이 앞 장의 전제와 호응하는가”를 검증하지 못한다. 저자가 세 층 중 어휘층에서만 완전한 성공을 본 것은 우연이 아니다 — 어휘는 린터로 검증 가능한 유일한 층이다. 리듬은 인간의 음독이라는 반자동 검증자가 필요했고, 구조는 검증자가 아예 존재하지 않는다. 검증자의 부재는 곧 에이전트 루프의 부재이고, 루프가 없는 곳에서 AI는 한 방 생성(one-shot generation)의 품질 상한에 갇힌다.
또 하나의 축은 문맥의 시간적 범위다. 함수 하나의 정합성은 수백 토큰의 지역 문맥으로 판단할 수 있다. 그러나 책의 뼈대는 10만 토큰 밖의 복선과 호응해야 한다. 컨텍스트 윈도가 아무리 길어도, “넣을 수 있다”와 “일관되게 활용한다”는 다르다. 저자가 관찰한 “구조 모사 불가”는 장거리 일관성(long-range coherence)이라는, 벤치마크가 잘 측정하지 않는 능력의 공백을 실전에서 확인한 것이다.
같은 주 HN에서 회자된 “코딩은 해결됐는데 소프트웨어는 나빠진다”는 에세이와 겹쳐 읽으면 그림이 완성된다. 그 글의 논지 — 요지를 옮기면, 개별 코드 조각의 생산은 빨라졌지만 시스템 전체의 정합성은 오히려 악화되고 있다는 것 — 는 watany의 세 층 모델과 정확히 동형이다. 코드에서도 함수 단위(어휘층)는 AI가 정복했지만, 아키텍처(구조층)의 검증자는 여전히 인간의 리뷰뿐이다. 책이 먼저 부딪힌 벽에 소프트웨어도 부딪히고 있는 것이다.
번역 산업의 전례도 참고가 된다. 기계번역이 실용 수준에 도달한 뒤 번역 시장은 “기계 초벌 + 인간 포스트에디팅(MTPE)“으로 재편되었는데, 이때 품질이 유지된 영역과 붕괴한 영역의 경계가 정확히 검증자의 유무였다. 용어집과 스타일 가이드로 검증 가능한 기술 매뉴얼 번역은 MTPE로 순조롭게 넘어갔지만, 문학 번역은 초벌조차 쓰기 어렵다는 평가가 유지되고 있다. watany의 실험은 기술서 집필이 이 스펙트럼에서 생각보다 문학 쪽에 가깝다는 것을 보여준 셈이다 — 코드 예제와 용어는 매뉴얼적이지만, 한 권을 관통하는 논증은 문학적 구조물이다.
일본 커뮤니티 특유의 맥락도 짚어 둘 가치가 있다. 일본 기술서 시장은 동인지 즉매회(技術書典)와 상업 출판 사이의 회색지대가 두텁고, 개인 엔지니어가 책 한 권을 통째로 쓰는 문화가 유난히 발달해 있다. “AI로 기술서를 쓸 수 있는가”가 이 커뮤니티에서 절실한 질문인 이유이고, 이런 밀도의 실패 기록이 Qiita에 올라오는 배경이다.
실무자에게 주는 시사점
이 기록에서 꺼낼 수 있는 실무 원칙은 세 가지다.
첫째, 위임의 단위는 “검증자가 있는 범위”로 자른다. 문서 작업에서 AI에 통째로 맡겨도 되는 것은 검증 가능한 층 — 용어 통일, 표기 규칙, 요약, 번역 초안 — 이다. 목차 설계와 장 사이의 논리 배선은 인간이 쥐고, AI는 그 뼈대 위의 살을 채우는 역할로 제한한다. watany의 “사전 목차 + 교대 집필”이 정확히 이 패턴이다.
둘째, 품질 피드백은 구체적 어휘로 준다. “더 자연스럽게”는 프롬프트가 아니라 소음이다. 연어, 호응, 문장 길이 분산처럼 조작 가능한 지표로 지적할 때만 수정 루프가 수렴한다. 이것은 코드 리뷰에서 “깔끔하게 해줘”가 아니라 구체적 명명과 분리 기준을 요구하는 것과 같은 원리다.
둘째의 보충 — 검증 루프의 비대칭도 설계에 넣는다. 코드에서는 테스트가 실패하면 에이전트가 스스로 고치는 루프가 돌지만, 산문에서는 인간의 음독·통독이 루프의 병목이 된다. 인간 검증이 병목이라는 것은 곧 배치 크기를 줄여야 한다는 뜻이다. 장 단위로 몰아서 검토하면 구조 문제를 발견했을 때 폐기 비용이 크다. 절 단위로 생성·검토를 교대하는 watany식 운용이 손실을 최소화한다 — 애자일이 폭포수를 이긴 것과 같은 이유다.
셋째, 도구보다 모델, 모델보다 구조. 저자는 프롬프트 잔기술보다 상위 모델 선택이 효과적이었다고 썼지만, 동시에 최상위 모델로도 구조층은 뚫지 못했다. 자원 배분의 우선순위는 명확하다 — 구조를 인간이 통제하는 워크플로 설계가 먼저고, 모델 업그레이드가 다음이며, 문장 다듬기 도구는 마지막이다.
출판 경제의 관점에서 보면 이 실패담은 오히려 안도할 소식일 수 있다. 생성 비용이 0에 수렴하면서 기술서 시장에도 AI 양산 서적이 유입되고 있고, Amazon의 전자책 셀프 퍼블리싱에는 이미 표층만 그럴듯한 책이 범람한다는 지적이 반복돼 왔다. 구조층이 자동화의 마지막 보루로 남아 있다는 것은, 좋은 책의 희소성 — 그리고 그것을 쓸 수 있는 저자의 희소성 — 이 당분간 유지된다는 뜻이다. 독자 입장에서 “이 책은 인간이 뼈대를 세웠는가”가 새로운 품질 신호가 되는 시대가 오고 있다.
전망하자면, 이 벽이 영원하리라는 보장은 없다. 장문 산출물에 대한 검증자 — 논증 그래프 추출, 장 간 일관성 검사 같은 — 가 만들어지는 순간, 책 집필도 에이전트 루프의 사정권에 들어온다. 실제로 수학 증명 분야에서는 Lean 같은 형식 검증기가 그 역할을 하면서 AI 증명 자동화가 급진전했다. 산문의 Lean이 등장할 것인가가 다음 관전 포인트다.
결론
리드 질문으로 돌아가면, 실패한 것은 모델이 아니라 검증자 없는 작업에 에이전트 패턴을 이식하려 한 설계였다. 어휘·리듬·구조라는 세 층 가운데 AI가 정복한 것은 검증자가 존재하는 층뿐이고, 이 경계선은 코드에서도 산문에서도 동일하게 작동한다. “AI로 책을 쓸 수 있는가”라는 질문은 그래서 “당신의 작업에는 어떤 검증자가 있는가”라는 질문으로 치환된다.
그리고 이 치환은 집필 바깥으로도 확장된다. 설계 문서, 아키텍처 결정 기록, 장애 보고서 — 엔지니어가 쓰는 모든 장문에는 같은 세 층이 있고, 같은 검증자 공백이 있다. AI에 초안을 맡기고 어색한 문장만 고치는 오늘의 관행은 어휘층만 검수하고 구조층을 방치하는 것일 수 있다.
저자의 마지막 통찰이 남는다 — 무엇을 써야 하는지의 최적화보다, 무엇을 쓰지 말아야 하는지에 대한 인간의 직관이 더 값졌다는 것. 생성이 공짜가 된 시대에 희소해지는 것은 생산 능력이 아니라 삭제의 판단력이다. 당신의 다음 문서 작업에서, AI에 맡길 층과 직접 쥘 층의 경계는 어디인가.
출처: