Halo NeuroAI, 유럽 포르투갈어 지원 120M 파라미터 오픈소스 음성 복제 TTS 'Sopro V2 Turbo' 공개

Halo NeuroAI가 새로운 TTS 모델 패밀리인 Sopro V2를 발표하고, 그중 가장 빠른 sopro-v2-turbo를 오픈소스로 공개했다. 이 모델은 120M 파라미터의 음성 복제(text-to-speech) 모델로, 영어, 독일어, 프랑스어는 물론 유럽 포르투갈어를 네이티브로 지원하는 최초의 오픈 TTS 모델이다.

성능 측면에서 Apple M3 CPU 기준 오프라인 생성 시 0.24 RTF(실시간 팩터), 스트리밍 시 첫 오디오까지 약 300ms가 소요되어 노트북 CPU나 브라우저에서도 원활하게 실행된다. H100 GPU 기준으로는 오프라인 0.07 RTF, 스트리밍 첫 오디오 약 200ms의 속도를 달성한다.

이 프로젝트는 ALS(루게릭병) 등으로 목소리를 잃은 환자들에게 유럽 포르투갈어 음성을 제공하기 위해 시작되었다. 기존 상용 API(OpenAI, ElevenLabs 등)는 브라질 포르투갈어 데이터 편향으로 인해 유럽 포르투갈어 발음이 부정확하거나 지연 시간이 길어 실사용에 어려움이 있었다. Sopro V2는 이러한 문제를 해결하기 위해 소형 모델 아키텍처를 최적화했으며, Sesame의 CSM 아키텍처에서 출발해 SentencePiece 토크나이저, Flow-matching 어쿠스틱 헤드, 인과적 보코더 등으로 구성 요소를 개선하였다.