에스토니아 언어 연구소, LLM용 에스토니아어 벤치마크 공개

에스토니아 언어 연구소(EKI)가 에스토니아어를 대상으로 한 LLM 성능 평가용 오픈 벤치마크를 출시했다.

이 벤치마크는 단순한 언어 이해를 넘어 다음과 같은 다각적인 측면을 평가한다:

• 에스토니아어 숙련도
• 추론 및 문제 해결 능력
• 사실 정확성
• 선동 및 조작적 프롬프트에 대한 저항성
• 다양한 작업에서의 신뢰성

주요 결과에 따르면, 선도적인 모델들 사이에서도 내러티브 유도(narrative steering) 및 선동 스타일의 프롬프트에 대한 취약성에서 큰 차이가 나타났다. 특히 Claude는 선동 저항성 측면에서 최상위권 성능을 보였다.

이번 연구는 영어 중심의 벤치마크만으로는 소수 언어 환경 및 지역 정보 생태계에서 발생할 수 있는 모델의 취약점을 파악하기 어렵다는 점을 시사한다.