ElevenLabs, 콘텐츠 언어 장벽 허무는 음성 번역 도구 출시

음성 AI 플랫폼 ElevenLabs가 콘텐츠의 언어 장벽을 제거하기 위한 새로운 AI Dubbing 기능을 공개했다. 이 도구는 원본 화자의 목소리와 고유한 음성 패턴을 그대로 유지하면서, 몇 분 만에 음성 콘텐츠를 다른 언어로 변환할 수 있다.

AI Dubbing은 다국어 음성 합성, voice cloning, 텍스트 및 오디오 처리 기술을 결합하여 높은 수준의 몰입감을 제공한다. 현재 Eleven Multilingual v2 모델이 지원하는 20개 이상의 언어(힌디어, 포르투갈어, 스페인어, 일본어, 우크라이나어, 폴란드어, 아랍어 등)로 번역이 가능하다.

주요 기술적 특징은 다음과 같다:

• 화자 정체성 보존: 번역 후에도 화자의 고유한 목소리, 감정, 억양을 유지하여 원본의 뉘앙스를 전달한다.
• 고급 오디오 처리: 배경 소음을 제거하고 음악과 대화를 구분하며, 여러 명의 화자가 등장하는 오디오도 개별적으로 인식해 처리한다.

이번 출시는 최근 공개된 롱폼 오디오 제작 도구인 Studio에 이어 ElevenLabs의 기술력을 확장하는 행보다. 이를 통해 크리에이터와 미디어 기업은 저렴한 비용으로 전 세계 시청자에게 콘텐츠를 빠르게 전달할 수 있게 된다.