ElevenLabs SSML 지원 현황과 Audio Tags 대체 방안

모델별 SSML 지원 현황

SSML(Speech Synthesis Markup Language)은 W3C 기반의 XML 표준으로, TTS 시스템에서 휴식, 발음, 속도를 제어하는 데 사용된다. ElevenLabs의 SSML 지원 여부는 모델 버전에 따라 크게 달라진다.

• 공통 지원: <break> 태그는 Eleven v3와 Eleven v4를 제외한 모든 모델에서 지원되며, 최대 3초까지 휴식을 넣을 수 있다.
• 발음 제어: IPA 또는 CMU Arpabet을 활용한 커스텀 발음 태그 <phoneme>은 Eleven Flash v2와 Eleven Turbo v2에서만 지원되며, 영어로 제한된다.
• SSML 미지원: Eleven v3와 Eleven v4는 표준 SSML 태그를 지원하지 않는다. 대신 Audio Tags와 네이티브 IPA 기능을 사용한다.

WebSocket API 설정

WebSocket API에서는 SSML 파싱이 기본적으로 비활성화되어 있다. 개발자는 enable_ssml_parsing 매개변수를 true로 설정해야 이를 활성화할 수 있다. 최적의 성능을 위해 각 SSML 태그는 단일 메시지로 전송해야 하며, 청크가 분할될 경우 파서 대기 시간으로 인해 지연이 발생할 수 있다. 발음 사전을 업로드하면 이 설정과 관계없이 SSML 파싱이 자동으로 활성화된다.

미지원 태그 및 대안

많은 표준 SSML 태그가 ElevenLabs에서 지원되지 않아 대체 방법이 필요하다.

• <prosody>(피치, 속도, 볼륨): Voice 설정 또는 v3/v4의 Audio Tags([slowly], [rushed] 등)를 사용한다.
• <emphasis>: 대문자, 구두점 또는 [shouts] 같은 Audio Tags를 사용한다.
• <say-as>(숫자, 날짜): 텍스트 정규화를 사용하거나 스크립트에 숫자를 직접 표기한다.
• <lang>: Multilingual v2, Flash v2.5 같은 다국어 모델을 사용하고 대상 언어로 텍스트를 작성한다.
• <voice>: 화자별로 오디오를 분리 생성하거나 v3/v4의 다중 화자 대화 기능을 사용한다.

현대적 대안: Audio Tags

Audio Tags는 Eleven v3와 Eleven v4에서 경직된 SSML 문법을 대체하기 위해 도입된 자연어 제어 시스템이다. [whispering], [sighs], [applause], [French accent]처럼 대괄호를 사용해 텍스트에 직접 지시를 삽입할 수 있다.

• 맥락 인식: SSML이 고정된 지점에 지시를 적용하는 것과 달리, Audio Tags는 주변 맥락을 기반으로 단서를 해석하여 더 자연스러운 운율과 톤을 생성한다.
• 네이티브 IPA 지원: Eleven v4는 XML 태그 없이 슬래시(/ˈfɒnɪks/)를 사용해 인라인 IPA 발음을 지원하며, 90개 이상의 언어를 커버한다.
• 워크플로우 통합: Audio Tags는 ElevenCreative 워크플로우 내에서 감정, 속도, 효과음을 제어할 수 있게 하여 최종 오디오 및 비디오 출력 제작을 간소화한다.