Hugging Face, CoT 성능 측정 리더보드 출시

Hugging Face가 LLM의 Chain-of-Thought(CoT) 생성 능력을 전문적으로 평가하는 Open CoT Leaderboard를 출시했습니다.

기존 리더보드들이 모델의 절대적인 정확도(Accuracy)를 측정하는 것과 달리, 이 리더보드는 **CoT 프롬프팅 적용 전후의 정확도 차이(Accuracy Gain Δ)**를 핵심 지표로 삼습니다. 이는 모델이 단순히 정답을 암기하고 있는지, 아니면 실제로 논리적인 추론 과정을 통해 정답에 도달하는지를 구분하기 위함입니다.

평가에는 다음과 같은 논리적 추론 중심의 태스크가 사용됩니다:

• LogiQA (논리적 추론)
• LSAT (분석적 추론, 논리적 추론, 독해력)

이 리더보드는 데이터 오염(Data Contamination) 문제를 완화하고, 개발자들이 에이전트 및 복잡한 애플리케이션 구축 시 어떤 모델이 더 효과적인 **추론 트레이스(Reasoning Trace)**를 생성하는지 판단하는 데 도움을 줄 것으로 기대됩니다.