NeurIPS 2025 E2LM 경진대회 개최

LLM 개발 초기 단계(약 200B 토큰 미만)에서는 기존 벤치마크가 유의미한 신호를 제공하지 못해 실험 결과를 해석하는 데 어려움이 있다. 이번 NeurIPS 2025 E2LM 경진대회는 과학적 지식 도메인에서 LLM의 초기 학습 신호를 효과적으로 포착할 수 있는 새로운 벤치마크를 구축하는 것을 목표로 한다.

참가자는 lm-evaluation-harness 라이브러리를 사용하여 솔루션을 제출하며, 평가는 다음 세 가지 지표를 기반으로 이루어진다:

• 신호 품질 점수 (SQ): 초기 학습 단계의 변별력 측정
• 순위 일관성 점수 (RC): 모델 간 순위의 안정성
• 과학적 지식 준수 점수 (CS): 과학적 사실과의 일치 여부

경진대회는 2025년 7월 14일에 시작되어 11월에 최종 결과가 발표될 예정이다. 총 상금은 1등 6,000달러를 포함하여 학생 부문 상금까지 마련되어 있다.