일본어 LLM 오픈 리더보드 공개

Hugging Face와 일본어 LLM 연구 개발 프로젝트인 LLM-jp가 협력하여 Open Japanese LLM Leaderboard를 출시했다. 이는 영어 중심의 LLM 평가에서 벗어나, 일본어 특유의 언어적 특성을 반영한 모델 성능 측정 체계를 제공하기 위함이다.

일본어는 한자, 히라가나, 가타카나가 혼용되고 띄어쓰기가 없어 토큰화가 매우 까다로운 언어적 특성을 가진다. 이번 리더보드는 이러한 복잡성을 고려하여 설계되었다.

주요 특징은 다음과 같다:

• 평가 도구: 전용 평가 스위트인 llm-jp-eval을 사용한다.
• 다양한 태스크: 자연어 추론(NLI), 기계 번역, 요약, 질의응답과 같은 고전적 작업부터 코드 생성, 수학적 추론, 인간 시험(Human Examination) 등 최신 작업까지 총 16개 태스크를 포함한다.
• 전문 데이터셋: Jamp(시제 추론), JEMHopQA(다단계 질의응답) 등 20개 이상의 전문 데이터셋을 활용하여 모델의 심층적인 이해 능력을 검증한다.