에미리트 방언 평가 벤치마크 Alyah 공개

기존 아랍어 LLM 벤치마크는 주로 현대 표준 아랍어(MSA)에 집중되어 있어, 실제 일상 대화에서 사용되는 지역 방언에 대한 평가는 미흡한 실정이다. 이를 해결하기 위해 에미리트 방언의 언어적, 문화적, 실용적 측면을 평가할 수 있는 새로운 벤치마크 Alyah가 도입되었다.

Alyah는 에미리트 현지인들이 직접 수집한 1,173개의 샘플로 구성된 데이터셋이다. 단순한 어휘 지식을 넘어, 문화적 맥락이 담긴 표현, 관용구, 구전 시, 전통 유산 관련 질문 등을 포함하여 모델의 깊이 있는 이해도를 측정한다.

주요 특징은 다음과 같다:

• 데이터 구성: 4지 선다형 객관식 문제로 구성되었으며, 모델의 위치 편향을 방지하기 위해 정답 인덱스를 무작위로 배치했다.
• 평가 카테고리: 인사 및 일상 표현, 종교 및 사회적 민감성, 비유적 의미, 에티켓 및 가치관, 시 및 창의적 표현, 역사 및 유산 지식, 언어 및 방언 등 다양한 영역을 포괄한다.
• 목적: 모델이 단순한 직역을 넘어, 에미리트 특유의 문화적 뉘앙스와 맥락을 얼마나 정확하게 파악하는지 평가한다.