AI Briefing

Open ASR 리더보드에 비공개 데이터 추가

Adding Benchmaxxer Repellant to the Open ASR Leaderboard

·2026.05.06 09:00

Hugging Face의 Open ASR Leaderboard가 벤치맥싱 방지용 private 데이터셋을 추가했다.

Appen Inc.와 DataoceanAI가 제공한 고품질 영어 ASR 데이터셋을 Open ASR Leaderboard의 private 트랙에 추가했다.

  • **스크립트형(read)**과 대화형(spontaneous) 음성을 포함하고, 미국·호주·캐나다·영국·인도 억양을 폭넓게 다룬다.
  • 목적은 벤치맥싱과 테스트셋 오염 위험을 줄여 더 신뢰할 수 있는 성능 측정을 만드는 데 있다.
  • 기본 Average WER는 계속 공개 데이터만으로 계산하고, private 데이터는 토글을 켜야 평균에 포함된다.
  • 새 집계 지표는 Avg Scripted, Avg Conversational, Avg US, Avg non-US이며, split별 점수는 따로 공개하지 않는다.
  • Rank Δ 열로 private 포함 여부에 따른 순위 변화를 볼 수 있다.
  • 모델 제출은 GitHub PR로 받고, 공개셋 검증 뒤 Hugging Face가 private셋 지표를 계산한다.
  • 공개셋 결과는 YAML 파일로 model card에 적어 self-report할 수 있고, dataset page의 unverified leaderboard에도 노출된다.

리더보드는 2023년 9월 시작 이후 71만 회 이상 방문됐고, 표준화에는 Whisper 기반 normalizer를 사용한다. UI 코드와 평가 스크립트는 오픈소스로 유지되며, 향후 더 거친 실제 환경과 노이즈 조건을 반영한 평가를 추가할 계획이다.

이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.

요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.