아랍어 LLM 평가 리더보드 및 AraGen 업데이트
Arabic Leaderboards: Introducing Arabic Instruction Following, Updating AraGen, and More
·2025.04.08 09:00
아랍어 LLM 성능 평가를 위한 통합 리더보드 출시와 AraGen 및 Arabic IFEval 벤치마크 업데이트가 발표되었다.
Inception과 MBZUAI의 협력으로 아랍어 AI 평가를 통합 관리하는 Arabic-Leaderboards Space가 출시되었습니다. 이 플랫폼은 다양한 모달리티를 아우르는 아랍어 모델 평가의 중심 허브 역할을 목표로 합니다.
주요 업데이트 사항은 다음과 같습니다:
- AraGen-03-25 출시: 데이터셋을 기존 279개에서 340개 쌍으로 확장했습니다. 구성은 질의응답(~200), 추론(70), 안전성(40), 문법 및 철자 분석(30)입니다.
- Arabic Instruction Following 리더보드: 아랍어 지시 이행 능력을 평가하는 최초의 공개 벤치마크인 Arabic IFEval을 도입했습니다.
- 평가 체계 고도화: Claude-3.5-Sonnet을 판사(Judge) 모델로 사용하여 평가의 일관성을 유지하며, 데이터셋 및 프롬프트 업데이트에 따른 모델 순위 변동을 분석해 신뢰성을 검증했습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.