Hugging Face, AI 모델 평가 결과 통합 표준화

Hugging Face가 Every Eval Ever(EEE) 프로젝트와 Community Evals를 통합하여, 모델 평가 결과의 투명성과 비교 가능성을 높이는 업데이트를 발표했습니다.

기존 AI 모델 평가는 논문, 리더보드, 블로그 등 여러 곳에 흩어져 있고, 동일 모델이라도 실행 환경에 따라 결과가 달라지는 문제가 있었습니다. 이를 해결하기 위해 다음과 같은 표준화된 시스템을 도입합니다.

• EEE(Every Eval Ever) 통합: 실행 주체, 모델 정보, 접근 방식, 생성 설정 등을 포함하는 단일 JSON 스키마를 사용하여 평가 데이터를 표준화합니다.
• 데이터 상호운용성: EEE의 결과를 Hugging Face Community Evals 형식으로 자동 변환해주는 컨버터를 제공하여, 연구자들이 두 포맷을 중복 관리할 필요가 없습니다.
• 검증된 평가(Verified Evaluators): 공식 계정을 통해 제출된 결과에는 Verified 체크마크가 부여되어, 데이터의 출처와 신뢰성을 즉시 확인할 수 있습니다.

현재 이 데이터스토어에는 약 229,000개의 평가 결과가 저장되어 있으며, 이를 통해 사용자는 모델의 성능과 안전성을 더욱 정확하게 비교하고 선택할 수 있습니다.