필리핀어 LLM 평가 벤치마크 공개

필리핀어(타갈로그어, 필리핀어, 세부아노어)에 대한 LLM의 능력을 체계적으로 평가하기 위한 종합 평가 스위트인 FilBench가 개발되었다. 기존의 단편적인 사례 중심 평가에서 벗어나, 언어적 유창성, 번역 능력, 문화적 지식을 포괄적으로 측정한다.

FilBench는 다음과 같은 4가지 주요 카테고리와 12개 태스크로 구성된다:

• Cultural Knowledge (문화적 지식): 지역적 사실 지식, 필리핀 중심 가치, 단어 의미 중의성 해소 능력 테스트.
• Classical NLP (고전 NLP): 개체명 인식(NER), 감성 분석, 텍스트 분류 등 전통적인 언어 처리 작업.
• Reading Comprehension (독해): 가독성, 이해도, 자연어 추론(NLI) 능력 평가.
• Generation (생성): 영어-필리핀어 또는 세부아노어-영어 간의 충실한 번역 능력 테스트.

이 벤치마크는 Lighteval 프레임워크를 기반으로 구축되었으며, 현재 공식 Lighteval 저장소에서 커뮤니티 태스크로 바로 사용할 수 있다. 연구 결과, 지역 특화 LLM들이 여전히 GPT-4와 같은 모델에 비해 성능이 뒤처지지만, 해당 언어 데이터를 통한 학습은 여전히 유망한 방향임을 확인했다.