ElevenLabs Agents의 Scribe v2 Realtime

Scribe v2 Realtime은 실시간 에이전트용으로 설계된 초저지연 Speech to Text 모델이다. 음성을 30~80ms 만에 전사하며, 속도·정확도·대화 맥락 인식이 중요한 에이전트 환경에 맞췄다.

일반적인 STT 시스템이 조용한 테스트 환경에서는 잘 동작해도, 실제 현장에서는 잡음·다양한 억양·이름·이메일·ID 같은 식별자 처리에서 성능이 흔들리기 쉽다. ElevenLabs는 이 문제를 겨냥해 Scribe v2 Realtime을 학습시켰다고 설명한다.

내부 테스트에서는 수백 개의 까다로운 영어 대화 샘플을 대상으로 비교를 진행했다. 오디오 품질이 나쁘거나 억양이 다양하고, filler word가 섞인 환경에서도 사용자 의도를 더 정확하게 잡아냈다고 밝혔다.

• 다국어 성능도 강조했다.
• FLEURS 멀티링구얼 벤치마크에서 30개 언어 기준으로, 저지연 ASR 모델 중 가장 낮은 WER를 기록했다고 소개했다.
• 특히 스페인어, 포르투갈어, 힌디어 등 글로벌 배포 환경에서 빠른 응답성과 정확도를 함께 확보하는 데 초점을 맞췄다.

현재 ElevenLabs Agents에 이미 통합돼 있으며, Advanced configuration에서 활성화할 수 있다. 즉, 별도 도입 없이 에이전트 설정에서 실시간 전사 모델을 바로 사용할 수 있다.