히브리어 LLM 전용 오픈 리더보드 공개

히브리어는 형태학적으로 매우 복잡하고 자원이 부족한 언어로, 기존 LLM 벤치마크로는 정확한 성능 측정이 어렵다. 이를 해결하기 위해 히브리어 전용 오픈 LLM 리더보드가 출시되었다.

리더보드는 다음 4가지 핵심 데이터셋을 통해 모델을 평가한다:

• Hebrew Question Answering: 문맥 이해 및 정보 검색 능력 측정
• Sentiment Accuracy: 텍스트의 감정(긍정, 부정, 중립) 분류 능력 측정
• Winograd Schema Challenge: 대명사 해소 및 논리적 추론 능력 측정
• Translation: 영어-히브리어 간 번역 정확도 및 유창성 측정

기술적으로는 HuggingFace Inference Endpoints를 통해 모델을 자동 배포하며, lighteval 라이브러리를 사용하여 API 요청 방식으로 평가를 진행한다.