Inflect-Nano-v2 파인튜닝 툴킷 공개

초소형 TTS 모델인 Inflect-Nano-v2(3.96M 파라미터) 및 Inflect-Micro-v2(9.35M 파라미터)를 사용자의 음성이나 다른 언어로 학습할 수 있는 새로운 파인튜닝 툴킷이 공개되었습니다.

이 툴킷의 주요 특징은 다음과 같습니다:

• 사용자 맞춤형 학습: 단일 화자의 녹음 데이터와 전사 데이터를 활용해 모델을 웜스타트(Warm-start)하거나 학습을 재개할 수 있습니다.
• 다국어 지원: 새로운 음소 인벤토리를 처리하여 영어 외의 언어로의 적응을 지원합니다.
• 유연한 내보내기: 학습된 결과를 PyTorch 또는 ONNX 형식으로 내보낼 수 있어 다양한 환경에서 배포가 가능합니다.
• 효율적인 구조: 24kHz 웨이브폼 디코더를 포함한 텍스트-파형 변환 모델로, 매우 적은 파라미터로도 동작합니다.

본 툴킷은 제로샷 클로닝(Zero-shot cloning)이 아닌, 특정 화자와 언어에 최적화하는 지도 적응(Supervised adaptation) 방식입니다.