ServiceNow, 코드 스위칭 음성 ASR 벤치마크 공개
Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech
·2026.06.10 04:38
다양한 언어가 섞인 코드 스위칭 음성 인식 성능을 평가하기 위한 새로운 벤치마크와 데이터셋이 공개되었습니다.
전 세계 인구의 절반 이상이 두 개 이상의 언어를 사용하며, 문장 중간에 언어를 바꾸는 코드 스위칭(Code-switching) 현상이 빈번합니다. ServiceNow AI 팀은 기업용 음성 에이전트가 이러한 복잡한 음성 패턴을 얼마나 정확하게 인식하는지 측정하기 위해 새로운 벤치마크를 구축했습니다.
주요 특징 및 데이터 구성:
- 언어 쌍: 스페인어-영어, 프랑스어-영어, 캐나다 프랑스어-영어, 독일어-영어 4종.
- 시나리오: HR(복리후생, 급여 문의) 및 IT 서비스 관리(비밀번호 재설정, VPN 접속 등) 중심의 실제 비즈니스 상황 반영.
- 평가 지표: 단순 오차율인 WER(Word Error Rate) 외에도 의미 보존력을 측정하는 SWER(Semantic WER)와 하위 작업 성능을 나타내는 AER(Answer Error Rate)을 사용함.
벤치마크 결과: 다양한 ASR 모델을 테스트한 결과, ElevenLabs Scribe V2, Gemini 1.5 Flash, AssemblyAI Universal 3-Pro가 모든 지표에서 최상위권 성능을 기록했습니다. 해당 데이터셋과 벤치마크 도구는 AU-Harness를 통해 공개되었습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.