최고의 모델 라우팅은 작업별로 특화된다

모델 라우팅의 새로운 흐름

OpenRouter의 Fusion, Cognition의 Devin Fusion, Factory의 라우터, Vercel의 라우팅 규칙 등 최근 1.5개월간 모델 라우팅 기술이 연이어 등장하고 있다. 배경은 단순하다. 최고 사양 모델은 토큰당 비용이 엄청나서 모든 작업에 쓸 수 없고, 실제로는 모든 작업이 프론티어 수준의 성능을 필요로 하지 않는다는 깨달음이다.

범용 라우터의 한계

프론티어 모델은 시간당 $600을 태울 수 있지만, 성능 곡선의 상층부에서는 비용이 급격히 떨어지면서 품질은 거의 변하지 않는다. Factory는 이 영역에서 Claude Opus 4.7의 20% 낮은 비용으로 ~99% 수준의 pass rate를 달성했고, Cognition의 Devin Fusion은 Fable 5 수준 성능을 35% 저렴하게 제공한다.

하지만 범용 게이트웨이는 근본적 한계가 있다. 스캔된 대출 서류의 3페이지가 밀도 높은 표(table)라 고도의 비전 모델이 필요하고, 1~2페이지는 평문이라 저렴한 추출로 충분할 때, 범용 라우터는 이를 알 수 없다. 어떤 작업도 깊이 있게 이해하지 못하기 때문이다.

작업 특화 팀들의 성공 사례

Harvey(법률)는 요청을 세부 작업으로 분해한 뒤 각각에 맞는 모델을 선택한다. 고용량 Vault 작업은 Sonnet 4.6, Gemini 3 Flash 같은 빠른 모델로, 필요시 자체 학습한 오픈소스 모델로 프론티어 수준의 법률 성능을 저비용으로 달성한다.

Decagon(고객지원)은 더 명확한 전략을 따른다. 신규 사용 사례에는 최고 수준의 범용 모델이 필요하지만, 사용 사례가 완성되면 "일반 지능은 오버헤드"이며 "특정 작업에 미세조정된 가장 작고 빠른 모델"이 최적이라는 주장이다. 이제 Decagon은 ~90%의 작업량을 미세조정 오픈소스 모델로 운영한다.

문서 AI의 지속적 격차

프론티어 VLM이 문서 파싱을 완전히 대체할 것이라 예상했지만 현실은 다르다. ParseBench 벤치마크에서 GPT-5-mini와 Haiku는 시각적 위치 파악에서 10% 미만이지만, 전문 파서는 **55~80%**에 도달한다. Gemini는 "minimal"에서 "high thinking"으로 갈수록 비용이 4배 증가하면서 약 5점만 향상된다.

LlamaParse는 이 격차를 체계적으로 활용한다. 에이전트 기반의 자동 라우팅, 텍스트 페이지에서 비전 토큰을 50~90% 절감하는 커스텀 엔진, 표와 차트용 미세조정 VLM, 출력 검증 에이전트가 결합되어 있다. 에이전트 모드는 **84.9%**에서 5개 항목 중 4개를 지배하고, 비용 효율 모드는 페이지당 약 0.3센트로 최상위에 진입한다.

두 계층의 역할 분담

OpenRouter 같은 범용 게이트웨이는 광범위한 제공자 수준의 라우팅과 앙상블(모델 가용성, 실시간 가격, 난제 패널 구성)을 담당한다. 초과 수익은 작업별 계층에서 나오며, Factory(소프트웨어 엔지니어링), Cognition, Harvey(법률), Decagon(지원), LlamaParse(문서)처럼 한 워크플로우에 가장 깊이 있게 들어간 팀에게 축적된다.