HF, 힌디어 ASR 평가 도입

Hugging Face와 Voice Arena가 협력하여 Open ASR Leaderboard에 **힌디어(hi-IN)**와 **인도 영어(en-IN)**를 위한 새로운 평가 데이터셋 Monsoon을 추가했다. 이는 해당 리더보드에 포함된 최초의 글로벌 사우스(Global South) 언어로, 기존 유럽 언어 중심의 평가 체계를 확장한다.

기존 ASR 리더보드는 단일 지표(WER)를 사용하며 인종, 성별, 억양 등에 따른 성능 편차를 포착하지 못하는 한계가 있었다. Monsoon은 이러한 격차를 해소하기 위해 지리, 연령, 성별, 어휘, 디바이스, 환경, 화법, 화속, 다중 정답 등 9가지 축을 고려하여 설계되었다.

데이터셋 구성 및 특징

• 규모: 총 4,888명의 화자를 포함하며, 각 화자에 대해 12가지 속성(직업, 교육 수준, 소득 등)이 기록된다.
• 스플릿: 각 언어별로 공개(public) 및 비공개(private) 스플릿으로 나뉘어 벤치마크 과적합을 방지한다.
• 힌디어 처리: 힌디어는 표기 변형이 다양하여 단일 정답 문자열 대신 허용되는 표기 목록을 포함하는 격자(lattice) 형식으로 참조 트랜스크립트를 제공한다.
• 수집 방식: 조용한 방이 아닌 실제 환경에서 개인 핸드폰을 사용하여 수집한 비스크립트 대화 데이터를 기반으로 한다.