LLM-as-a-Verifier v0.2.0 공개, Terminal-Bench 등 에이전트 벤치마크 SOTA 달성 및 캐시 최적화 적용

LLM-as-a-Verifier v0.2.0 주요 업데이트

LLM-as-a-Verifier는 에이전트 궤적(trajectory)을 검증하고 최적의 응답을 선택하는 프레임워크로, v0.2.0 업데이트에서는 Prefix-cache optimization을 도입해 Terminal-Bench 2.1 벤치마크에서 캐시 히트율을 5.2%에서 78.4%로 높이고 미캐시 입력 토큰을 약 3.4배 감소시켰다. 또한 deepseek-v4-flash를 검증자 백엔드로 지원하며, 토큰 사용량을 추적하는 API를 추가했다.

성능 및 검증 메커니즘

이 프레임워크는 Probabilistic Pivot Tournament(PPT) 방식을 사용해 O(N²) 대신 O(Nk)의 비용으로 다수의 궤적을 순위 매긴다. 위치 편향을 제거하기 위해 링 패스를 활용하며, 상위 k개 피벗과 비피벗을 비교해 예산을 집중한다.

실제 측정된 성능 결과는 다음과 같다:

• Self-Verification (Terminal-Bench 2.1): Best-of-3 Pass@1이 79.4%에서 86.5%로, Best-of-5 Pass@1이 78.7%에서 88.0%로 향상되었다.
• Test-Time Scaling: Terminal-Bench V2, SWE-Bench Verified, MedAgentBench 등 다양한 벤치마크에서 기존 모델 대비 성능 개선을 보였다.

적용 범위 및 활용

LLM-as-a-Verifier는 코딩, 로보틱스, 의료 에이전트 벤치마크에서 SOTA를 달성했다. TurboAgent 플러그인을 통해 Claude Code 등에서 병렬 후보 생성 후 최적 선택을 수행할 수 있으며, 이미지 입력을 지원하는 멀티모달 검증도 가능하다. 설치 후 API 키 설정만으로 select, compare, track 등의 API를 활용해 에이전트의 진행 상황을 추적하거나 강화 학습에 활용할 수 있다.