LLM 추론 평가용 NPHardEval 리더보드 공개

NPHardEval은 미시간 대학교와 러트거스 대학교 연구진이 개발한 벤치마크로, **계산 복잡도 클래스(Complexity Classes)**를 활용해 LLM의 추론 능력을 정량적으로 측정한다.

주요 특징

• 동적 업데이트: 매달 질문을 자동으로 생성 및 업데이트하여 모델의 **오버피팅(Overfitting)**을 방지한다.
• 논리 중심 평가: 수치 계산의 간섭을 줄이기 위해 수치 연산 문제를 제외하고, 순수한 논리적 추론 능력 평가에 집중한다.
• 복잡도 계층 활용: P, NP-complete, NP-hard 등 알고리즘 문제를 통해 추론의 깊이를 체계적으로 분류한다.

데이터 및 지표

• 총 9개의 알고리즘과 10단계 난이도를 조합하여 900개의 질문을 제공한다.
• 난이도별 가중치를 적용한 **가중 정확도(Weighted Accuracy)**와 출력 형식의 적절성을 측정하는 **실패율(Failure Rate)**을 주요 지표로 사용한다.