Audio8-TTS-Realistic-0.6b: 0.6B 파라미터로 23개 언어를 다루는 제로샷 보이스 클로닝

텍스트와 짧은 참조 녹음만 있으면 특정 사람의 목소리를 그대로 재현하는 합성 음성을 생성한다. 별도의 학습 과정 없이 제로샷 방식으로 동작하며, 참조 음성이 없어도 기본 음색으로 텍스트를 음성화할 수 있다. Audio8-TTS-Preview-0.6b를 기반으로 현실감 있는 발음과 억양을 개선한 버전이다.

모델 크기는 6억 100만 파라미터로 컴팩트한 편이며, 44.1kHz 샘플레이트의 오디오 코덱이 함께 제공된다. 한국어, 영어, 일본어, 중국어 등 기존 11개 언어에 아랍어, 러시아어, 베트남어 등 12개 언어를 추가해 총 23개 언어를 지원한다. Fish Audio S2 Pro에서 영감을 받은 DualAR 아키텍처를 사용해 느린 AR 트랜스포머가 의미론적 토큰을, 빠른 AR 트랜스포머가 코덱 코드북을 예측한다.

Transformers 라이브러리의 커스텀 코드를 활용해 로컬에서 추론할 수 있다. 대량 처리가 필요한 환경에서는 SGLang Omni 어댑터를 적용해 페이지드 어텐션과 동적 배치, OpenAI 호환 API를 통해 GPU 서빙이 가능하다. Apache 2.0 라이선스로 배포되어 상업적 활용이 용이하다.

경량 모델로 고품질 TTS가 필요한 개발자나, 특정 화자의 목소리를 빠르게 복제해야 하는 콘텐츠 제작자에게 적합하다. 다국어 지원 범위가 넓어 글로벌 서비스의 음성 합성 파이프라인 구축에 활용할 수 있다.