Nathan Lambert, Artificial Analysis v5가 폐쇄형…

Artificial Analysis가 실제 사용 패턴을 반영하기 위해 Knowledge Work, Coding, Science, General 카테고리를 각각 25%씩 동일하게 가중치 부여한 Intelligence Index v5를 출시함
새로운 랭킹에서 8개의 폐쇄형 모델이 최상위 오픈웨이트 모델인 Kimi K3.1 Pro보다 앞서며, 해당 벤치마크가 현재 오픈 모델이 뒤처지는 프런티어 역량을 측정함을 시사함
Nathan Lambert는 오픈 모델이 코딩에서는 경쟁력이 있으나, 새 인덱스에 높은 가중치가 부여된 Terminal-Bench-Science와 CritPt v2와 같은 과학 평가에서 열세라고 주장함
v5의 비공개 벤치마크 전환은 과적합(overfitting) 방지 측면에서 타당하지만 투명성을 낮추어 정확성과 커뮤니티 검증 사이에서 트레이드오프를 발생시킴
Lambert는 Anthropic과 OpenAI 등 주요 폐쇄형 연구소들이 이러한 공개 인덱스 최적화를 거의 중단하고 내부 R&D 및 기업 고객에 집중하는 반면, 소형 연구소들은 브랜딩을 위해 여전히 이에 의존하고 있다고 지적함

Nathan Lambert, Artificial Analysis v5가 폐쇄형 모델 우대한다고 지적