Hugging Face 리더보드 구축 가이드 공개

Hugging Face는 기존 Open LLM 리더보드보다 가볍고 사용하기 쉬운 **리더보드 템플릿(Leaderboard Templates)**을 출시했다.

Vectara는 이 템플릿을 사용하여 자사의 Hughes Hallucination Evaluation Model (HHEM) 리더보드를 구축한 사례를 공유했다. HHEM은 GPT-4, Gemini, Llama 2 등 다양한 모델이 생성한 요약문에서 발생하는 환각(Hallucination) 빈도를 측정하는 데 특화되어 있다.

리더보드 구축을 위한 주요 기술적 단계는 다음과 같다:

• 데이터셋 관리: 사용자 요청을 기록하는 requests 데이터셋과 평가 결과를 저장하는 results 데이터셋을 생성하여 동적인 업데이트를 지원한다.
• 백엔드 커스텀: 복잡한 평가 로직을 구현하기 위해 model_operations.py를 수정하여 요약 생성 및 사실 일관성(Factual Consistency), 환각률(Hallucination Rate) 등을 계산하는 기능을 통합한다.

이 가이드는 개발자들이 자신만의 모델 평가 프레임워크를 구축하고 관리할 수 있는 오픈소스 기반의 실질적인 방법론을 제공한다.