AI BriefingAIM System One Index, 57개 결정 모델 랭킹 발표
We built the AIM System One Index, a leaderboard for decision models (57 models ranked on accuracy, bias, cost and latency)
·2026.10.21 08:09
핵심 내용
AutoJev-27B 등 3개 모델이 60점으로 단일 패스 결정 모델 벤치마크 1위를 차지했다
자세히 보기
- AIM System One Index는 텍스트를 토큰 단위로 생성하지 않고 단일 패스에서 확률을 포함한 타입화된 결정을 반환하는 57개의 'System One' 모델을 정렬하는 새로운 리더보드임
- AutoJev-27B, d1-ultra, decider-12b 세 모델이 60점으로 1위를 공동 기록함
- d1-ultra는 브라우저 태스크에서 74%라는 최고 점수를 기록했으며 1,000건당 $0.026의 비용을 지출함
- Laya는 결정당 30ms로 가장 빠른 속도를 보였고 Decider Flash V1.2는 1,000건당 $0.007로 가장 저렴한 비용임
- 해당 인덱스는 50개 브라우저 태스크, 1,655개 단일 결정 분류 질문, 회전된 '판단 불가' 옵션을 포함한 편향 테스트 등 세 가지 벤치마크를 결합함
- 점수는 평균을 50으로, 표준편차 1을 10점으로 설정한 z-score이며 비용과 지연 시간은 표시만 되고 인덱스 점수에는 포함되지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
