BenCzechMark: 체코어 LLM 평가

BenCzechMark는 LLM의 체코어 능력을 평가하기 위한 최초이자 가장 포괄적인 평가 스위트이다.

이 벤치마크는 LLM이 다음과 같은 능력을 갖추었는지 테스트한다:

• 체코어를 이용한 복잡한 추론 및 작업 수행
• 문법적·의미론적 정확성을 갖춘 체코어 생성 및 검증
• 체코 문화 및 관련 사실에 대한 정보 추출 및 지식 저장
• 체코어 텍스트의 확률 추정(Language Modeling)

50개의 작업이 9개의 카테고리로 구성되어 있으며, 데이터의 90%는 번역본이 아닌 원어민이 직접 작성한 콘텐츠를 사용하여 신뢰도를 높였다.

평가에는 Accuracy, Exact Match(EM), AUROC, Perplexity(Ppl) 등 다양한 지표가 사용된다. 특히 AUROC를 활용해 모델의 클래스 분포 편향을 줄이고 공정한 비교를 가능하게 했다. 현재 25개 이상의 오픈 소스 모델이 참여한 BenCzechMark 리더보드가 운영 중이다.