Vals, 모델 라우터 독립 평가 도입… 오라클 라우터 성능 14점 향상 및 비용 40% 절감

Vals가 모델 라우터를 위한 독립적인 엔드투엔드 평가 체계를 개발 중이다. 이 평가는 실제 전문 업무에서 품질, 비용, 지연 시간을 측정하기 위해 마련됐다. AI 프론티어는 불균등한 양상을 보이며, Vals Index의 8개 벤치마크에서 5개 모델이 각각 상위권을 차지할 뿐, 모든 벤치마크에서 3위 안에 드는 단일 모델은 없다. 이러한 파편화로 인해 단일 모델 의존은 성능 저하를, 다중 모델 관리는 운영 부담을 초래한다.

이 평가는 라우터가 모델 선택의 잠재력을 얼마나 잘 포착하는지 측정한다. Vals는 사후적으로 모든 작업에 최적의 모델을 선택하는 오라클 라우터가 Vals Index에서 최상의 단일 모델보다 14점 높은 성능을 보이면서 비용은 약 40% 절감할 수 있다고 계산했다. 이는 기존 학술 벤치마크가 포착하지 못한 지능형 라우팅의 효율성 증대 가능성을 보여준다.

현재 라우터 평가는 현대 에이전트 워크플로우의 복잡성을 반영하지 못한다는 한계가 있다. 에이전트는 수십 단계에 걸쳐 작업을 수행하며, 라우팅 결정이 이후 컨텍스트와 비용에 영향을 미친다. 예를 들어 저렴한 모델로 전환하면 호출 비용은 줄일 수 있지만, 오류 발생으로 추가 호출이 필요하거나 프롬프트 캐시 손실로 비용이 발생할 수 있다. Vals는 라우터가 정적 프롬프트가 아닌 금융, 법률, 코딩 등 분야의 실시간 장기 작업을 통해 평가되어야 한다고 주장한다.

새로운 평가는 Terminal-Bench 4.0, Excel Modeling, Harvey’s Legal Agent Benchmark (HLAB) 등이 포함된 Vals Index와 동일한 하네스를 사용한다. 이러한 작업은 전문가가 작성했으며 대부분 비공개이고 장시간 소요된다. 평가는 라우터 성능을 단일 모델 기준선 및 오라클 참조와 비교하며, 각 라우터의 구성, 작업 결과, 작업당 비용, 캐시 사용량, 완료 시간을 측정한다. Vals는 조만간 공개 리더보드에 결과를 게시할 계획이다.