ElevenLabs, Dubbing v2 출시

ElevenLabs가 원본 화자의 감정과 퍼포먼스를 그대로 유지하는 혁신적인 AI 더빙 모델, Dubbing v2를 출시했다. 이 모델은 단순한 텍스트 번역을 넘어 화자의 톤, 속도, 전달 방식 및 감정적 의도를 90개 이상의 언어로 전달한다.

기존 AI 더빙 시스템은 텍스트 기반 번역에 의존하여 화자의 미묘한 뉘앙스를 놓치는 경우가 많았다. 반면 Dubbing v2는 원본의 퍼포먼스에 직접 반응(Conditioning)하여 화자의 억양과 에너지를 다른 언어로 전이함으로써 훨씬 자연스러운 결과물을 만들어낸다.

주요 특징은 다음과 같다:

• Sync-aware translation: 번역된 문장이 원본 영상의 시작과 끝, 속도에 맞춰 자동으로 동기화되어 전문적인 더빙 품질을 제공한다.
• 워크플로우 자동화: 번역가, 성우, 엔지니어가 필요했던 고비용의 전문 더빙 과정을 자동화하여 크리에이터와 기업의 접근성을 높였다.

이 서비스는 대상에 따라 맞춤형 솔루션을 제공한다. 크리에이터는 YouTube 콘텐츠를 손쉽게 현지화할 수 있으며, 마케터는 글로벌 캠페인을 일관된 감정선으로 확장할 수 있다. 또한 스튜디오 및 방송사는 ElevenProductions를 통해 전문적인 로컬라이제이션 워크플로우를 구축할 수 있다.

현재 ElevenCreative와 ElevenProductions를 통해 이용 가능하며, 향후 API 지원이 예정되어 있다.