Audible, BookLLM 기반 TTS로 오디오북 캐릭터 음성 차별화 개선

Audible 기술 팀이 자연어 설명으로 대사 전달을 제어하는 제어 가능한 TTS 시스템을 개발함. 기존 TTS가 장편 콘텐츠에서 캐릭터를 구분하지 못하는 문제를 해결함.
MUSHRA 테스트에서 대사 차별화 점수를 3.7점 향상시킴. 영어와 스페인어 모두 10개 목소리 중 8개에서 청취 경험의 통계적으로 유의미한 개선을 보임.
BookLLM이라는 새로운 구성 요소를 도입해 영어 97%, 스페인어 94%의 정확도로 캐릭터를 프로파일링하고 대사를 식별함. 책의 맥락을 활용해 음성 특성을 정의하고 무대 지시를 부여함.
LLM과 전문가 모델을 활용해 고품질 음성 캡션을 생성하는 새로운 데이터 합성 파이프라인에 기반함. 이를 통해 TTS 모델이 피치, 속도, 감정 등 표현 지시를 이해하고 따를 수 있음.
BookLLM은 주요 캐릭터 간 대비를 극대화하기 위해 큐레이션된 음성 카탈로그에서 각 캐릭터에 고유한 프로파일을 할당함. 조연 캐릭터는 음성 과다 생성을 방지하기 위해 기본 내레이터로 대체함.
캐릭터의 음성 프로파일을 책 단위로 고정해 일관성을 유지함. 일반 모델에서 장마다 캐릭터 음성이 변하는 드리프트 현상을 방지함.

핵심 내용