VibeVoice - 오픈소스 프런티어 음성 AI

VibeVoice는 TTS와 ASR을 함께 다루는 음성 AI 모델군으로, 장문 음성 생성과 장문 음성 인식을 겨냥했다.

핵심 구조는 7.5 Hz 초저프레임 연속 음성 토크나이저와 next-token diffusion 조합이다. 텍스트 문맥과 대화 흐름은 LLM이, 음향 디테일은 diffusion head가 담당한다.

• VibeVoice-ASR은 최대 60분 오디오를 단일 패스로 처리해 화자 정보, 타임스탬프, 발화 내용을 담은 구조화 전사를 생성한다.
• 50개 이상 언어를 지원하고, 사용자 지정 hotword와 문맥 정보를 받아 도메인 특화 인식 정확도를 높이도록 설계됐다.
• finetuning 코드와 vLLM 추론 지원이 공개됐고, Hugging Face Transformers에서도 사용할 수 있다.

VibeVoice-TTS는 최대 90분 음성을 단일 패스로 합성하고, 한 대화에서 최대 4명 화자를 지원한다. 다만 저장소 공지에는 공개 후 목적과 맞지 않는 사용이 확인돼 TTS 코드가 제거됐다고 적혀 있다.

VibeVoice-Realtime-0.5B는 스트리밍 텍스트 입력, 약 300ms 첫 가청 지연, 약 10분 길이의 장문 음성 생성을 지원한다. 여기에 9개 언어의 다국어 실험 화자와 11개의 영어 스타일 음성이 추가됐다.

가중치는 Hugging Face, Playground, Colab으로 배포되며, 저장소는 연구·개발 전용으로 안내된다. base model인 Qwen2.5 1.5B의 편향과 오류를 물려받을 수 있고, 딥페이크·사칭·허위정보 위험 때문에 책임 있는 사용이 권고된다.