아랍어 LLM 리더보드 v2 공개

아랍어 LLM의 급격한 증가에 대응하여, 기존 벤치마크의 한계를 극복하기 위한 Open Arabic LLM Leaderboard 2가 공개되었다.

기존 아랍어 관련 평가 방식은 다음과 같은 문제점이 있었다:

• 자원 제한: 높은 컴퓨팅 자원 요구량으로 인해 소규모 개발자의 참여가 어려움
• 결과 무결성: 사용자가 직접 평가한 결과값을 제출하는 방식의 경우, 결과의 정확성과 신뢰성을 검증하기 어려움

첫 번째 버전(OALL)은 출시 후 7개월 만에 700개 이상의 모델과 180개 이상의 조직이 참여하며 아랍어 NLP 커뮤니티의 핵심 자원으로 성장했다. 이번 버전 2는 더욱 통합되고 투명하며, 누구나 재현 가능한 실험을 할 수 있는 벤치마킹 플랫폼을 제공하는 데 중점을 둔다.