AI 더빙 API

AI 더빙 API는 오디오나 비디오를 입력받아 여러 언어의 더빙 결과를 반환하며, 음성 인식·번역·화자 음성 복제·합성·싱크 조정을 자동화한다. 기존에 Speech to Text, 기계 번역, Text to Speech를 조합한 파이프라인은 화자 정체성이 흔들리고 타이밍이 어긋나며 감정 표현이 단조로워지는 문제가 있다.

ElevenLabs Dubbing v2는 원본 녹음의 연기와 음성을 직접 조건으로 사용하는 audio-to-audio 모델이다. 원본의 톤과 감정, 전달 방식까지 반영해 단순히 번역문을 읽는 방식보다 자연스러운 더빙을 생성한다.

주요 특징은 다음과 같다.

• 90개 이상 언어 지원
• 원본 타이밍을 고려한 번역 및 싱크 조정
• 화자 분리와 음성 보존
• 음성 복제를 통한 화자별 더빙
• REST API를 이용한 더빙 프로젝트 생성, 대상 언어 추가, 결과 다운로드
• 엔터프라이즈 고객 대상 원문·번역 편집 및 변경 구간만 재생성

개발자는 API 호출 몇 번으로 더빙 프로젝트를 만들고 대상 언어를 추가한 뒤 완성된 음성이나 영상을 내려받을 수 있다.