격차에 주목하라

AI21은 검증·컨텍스트·지연·분해의 4대 격차를 생산 AI의 핵심 과제로 제시했다.

생산 AI의 성패는 모델 점수보다 실행 시스템에 달려 있다. AI21 CTO Barak Lenz는 **AI Operating System(AI OS)**가 검증, 라우팅, 오케스트레이션, 분해를 한꺼번에 다뤄야 한다고 본다.

Validation Gap은 Success@1과 Success@N의 차이다. 여러 번 실행해 최고 결과를 고르는 Oracle 방식은 성능을 끌어올리지만, 검증기가 없으면 그 이득을 회수할 수 없다. AI21의 multi-scale indexing 실험에서는 전통적 단일 경로 RAG 대비 **20~40%**의 추가 여지가 보였다.
Contextualization Gap은 평균적으로 좋은 모델과 특정 입력에 최적인 모델이 다르다는 뜻이다. 쉬운 문제는 더 작은 모델로도 충분하므로, 입력별로 Action Model이 경로와 비용을 먼저 판단하는 Portfolio of Actions가 필요하다.
Latency Gap은 비용 절감과 시간 절감이 다른 제약이라는 점을 보여준다. 시간을 줄이려면 여러 경로를 병렬로 돌리고, 하나가 검증되면 나머지를 즉시 종료해야 한다. 이를 위해 오케스트레이션을 LLM 추론과 분리한 structured plans가 필요하며, 최단 성공 경로는 평균보다 3배 빠를 수 있다.
Decomposition Gap은 한 번 쪼갠 뒤 순차적으로 밀어붙이는 기존 에이전트의 한계를 가리킨다. 복잡한 장기 과제는 매 단계에서 분기·중단·재라우팅을 판단하는 fractal decomposition이 필요하며, AI21의 Maestro는 이런 branching point를 넣어 ReAct 루프보다 나은 결과를 냈다.

결국 유용한 생산 AI는 단일 LLM이 아니라, 자원을 이해하고 작업을 생성·중단·재배치하는 AI OS에 가깝다. 최근 GPT-5.3 Codex 사례도 모델이 자기 개발, 디버깅, 배포에 관여하는 방향의 징후로 언급된다.