Hume AI, 음성 AI 품질 측정 벤치마크 공개

기존의 음성 AI 벤치마크가 지연 시간(Latency)이나 단어 오류율(WER)에 집중했다면, Real World VoiceEQ는 실제 대화에서 느껴지는 인간적인 품질을 측정하는 데 중점을 둡니다.

이 벤치마크는 40개 이상의 주요 음성 모델을 대상으로 ASR, TTS, S2S, 음성 이해 등 15개 이상의 차원과 60개 이상의 지표를 통해 평가를 수행합니다. 특히 100만 건 이상의 인간 평가 데이터를 기반으로 구축되어 신뢰도를 높였습니다.

주요 연구 결과:

• 전문성 분화: 단일 최적 모델은 존재하지 않으며, 모델마다 기술적 정확도, 감정 표현력, 대화 지능 등 특화된 강점이 다르게 나타납니다.
• 듣기 능력의 한계: 많은 음성 모델이 말하기(Speaking) 능력에 비해 듣기(Listening) 능력이 부족합니다. 텍스트 정보에는 의존하지만, 목소리의 톤, 속도, 망설임, 강조 등 **비언어적 단서(Paralinguistic cues)**를 파악하여 화자의 의도를 읽어내는 데 어려움을 겪고 있습니다.