ASR 모델, 벤치마크 답 외우기

공개 음성 인식(ASR) 벤치마크 점수가 인간 수준에 도달했다는 평가가 있지만, 이는 모델이 실제 작업 능력이 아닌 **테스트 자체에 최적화(benchmaxxing)**되었기 때문일 수 있습니다. 최근 연구는 11개의 오픈소스 ASR 모델을 평가하여, VoxPopuli 및 LibriSpeech 데이터셋의 벤치마크 전사본을 그대로 재현하는 경향이 있음을 확인했습니다.

특히 오디오 내용이 벤치마크의 참조 전사본과 모순되거나, 관련 단어가 침묵 처리된 경우에도 일부 모델은 오디오 내용을 무시하고 벤치마크의 '정답'을 출력하는 것으로 나타났습니다. 이는 모델이 음성의 미세한 음향 단서를 통해 특정 벤치마크 데이터를 식별하고 그에 맞는 출력을 생성하기 때문으로 분석됩니다.

이러한 현상은 모델의 실제 음성 인식 능력을 과대평가하게 만들며, 벤치마크 점수만으로는 실사용 성능을 판단하기 어렵다는 점을 시사합니다. 연구팀은 이를 측정하기 위해 참조 불일치(reference disagreement) 테스트 등 3가지 정량화 방법을 제안했습니다.