VoxCPM: 토크나이저 없이 30개 언어를 48kHz로 합성하는 TTS

VoxCPM2는 이산 토크나이징을 거치지 않고 연속 음성 표현을 직접 생성하는 텍스트 음성 합성 모델이다. MiniCPM-4 기반의 2B 파라미터 모델로, 200만 시간 이상의 다국어 음성 데이터로 학습되어 자연스러운 억양과 표현력을 갖춘다. 30개 언어를 지원하며, 언어 태그 없이 입력 텍스트만으로도 해당 언어의 음성을 합성할 수 있다.

1 / 2

참조 오디오 없이 자연어 설명만으로 새로운 목소리를 만들 수 있는 Voice Design 기능이 핵심이다. 성별, 연령, 감정, 속도 등을 텍스트로 지정해 브랜드 전용 목소리를 생성할 수 있다. 짧은 참조 클립을 통해 목소리를 복제하되, 감정이나 속도를 별도로 제어하는 Controllable Cloning도 지원한다. 참조 오디오와 전사 텍스트를 함께 제공하면 발성 디테일까지 재현하는 Ultimate Cloning도 가능하다.

16kHz 입력을 받아 48kHz 스튜디오 품질의 오디오를 출력하며, 외부 업샘플러 없이 내부적으로 초해상도를 처리한다. NVIDIA RTX 4090 기준 RTF 0.3 수준의 실시간 스트리밍 추론을 지원하며, vLLM 기반 서빙을 통해 OpenAI 호환 API로 배포할 수 있다. Apache-2.0 라이선스로 공개되어 상업적 사용이 가능하다.

다국어 콘텐츠 제작이나 맞춤형 목소리가 필요한 개발자에게 적합하다. 기존 TTS 시스템과 달리 토크나이저에 의존하지 않는 아키텍처로 더 정밀한 음성 제어가 가능하며, LoRA를 통한 파인튜닝도 지원한다. Python API와 CLI, 웹 데모를 제공하여 다양한 환경에 쉽게 통합할 수 있다.