Tortoise TTS V2

Tortoise TTS V2는 James Betker이 개발한 오픈소스 text-to-speech(TTS) 프로그램으로, 뛰어난 다중 음성 기능과 사실적인 운율 및 억양을 제공한다. 무작위 음성 생성, 사용자 제공 컨디셔닝 레이턴트(conditioning latents) 활용, 사전 학습된 모델 사용 등 다양한 기능을 갖추고 있다.

이 모델은 autoregressive decoder와 diffusion decoder를 모두 활용하는 것이 특징이다. 이 방식은 매우 정교한 결과물을 만들어내지만, 생성 속도가 느리다는 단점이 있다. 예를 들어, K80 GPU 환경에서 중간 크기의 문장을 생성하는 데 몇 분이 소요되기도 한다.

핵심 기술인 autoregressive decoder는 이전 출력값을 바탕으로 다음 소리를 예측하는 방식으로 작동한다. 이러한 순차적 의존성을 통해 음성의 리듬, 톤, 미세한 뉘앙스를 살려 더욱 자연스럽고 인간에 가까운 음성을 구현한다.