Arena AI 모델 ELO 히스토리

AI 모델 업데이트 시 발생하는 성능 저하(nerf), 즉 과도한 검열이나 비용 절감을 위한 양자화(quantization) 등의 숨겨진 트렌드를 추적합니다.

Web UI와 API의 차이 LMSYS Arena는 API 엔드포인트를 통해 모델의 원본 성능을 테스트합니다. 반면, 일반 사용자가 사용하는 웹 인터페이스(ChatGPT, Gemini 등)는 시스템 프롬프트, 안전 필터, 또는 피크 시간대 비용 절감을 위한 양자화된 모델이 적용될 수 있어 API 벤치마크와 차이가 발생할 수 있습니다.

데이터 및 분석 로직

• 데이터 출처: Hugging Face의 LMSYS Arena Leaderboard Dataset을 매일 자동 수집하며, 수천 건의 블라인드 인간 평가를 기반으로 합니다.
• 플래그십 모델 기준: 각 AI 연구소의 여러 모델 중 가장 높은 ELO를 기록한 플래그십 모델 하나만을 추적하여 곡선을 생성합니다.
• 변형 모델 통합: -thinking, -reasoning 등 추론 모드 변형은 동일 모델로 간주하여 데이터를 통합함으로써 점수 변동을 방지합니다.
• 추세 파악: 신규 모델 출시 시점의 점수 상승과 모델 생애 주기 동안의 **성능 저하(degradation)**를 명확히 시각화합니다.