Vals AI, 최저 추론 설정으로 비용 절반 이하에 점수 80% 유지하는 프런티어 모델 4개 확인

• 7개 프런티어 모델 중 4개는 최저 추론 설정에서 비용의 절반 이하로 Vals Index 점수의 80% 이상을 유지함
• Claude Opus 5.5와 Grok 4.7이 리더보드 비용의 16% 수준에서 각각 80%, 86%의 점수를 유지하며 최고 효율을 기록함
• 56개 모델-벤치마크 조합 중 22개는 리더보드 설정보다 낮은 비용으로 동일한 점수를 달성했으며, 더 낮은 설정이 유의미하게 높은 점수를 얻은 경우는 없음
• 각 작업별로 사후적으로 최고 점수 설정을 선택할 경우 중간 점수가 6.0점 상승하지만, 비용은 최저 설정 전역 적용 시 29%인 것과 달리 리더보드 설정의 64%로 증가함

벤치마크 편차

• Legal Research는 추론 수준 증가에 따른 성능 향상이 가장 컸으며, 최저에서 최고 설정으로 갈 때 중간 점수가 19.2점 상승함
• EMB 1.1, HLAB 1.1, Finance Agent 2.1은 각각 6점 미만의 미미한 향상을 보임

방법론 및 한계

• 7개 AI 랩의 최상위 모델을 8개 Vals Index 벤치마크에 대해 최저, 중간, 리더보드 설정으로 실행함
• 점수는 벤치마크별 작업의 약 절반으로 고정된 부분집합을 기반으로 하므로 전체 벤치마크 실행보다 결과의 노이즈가 큼
• 6.0점의 잠재적 향상은 결과를 확인한 후 최적 설정을 선택할 수 있다는 전제에 기반한 상한값으로, 실시간 배포에서는 불가능함