Haru-4B: 133ms마다 듣고 말하는 9개 언어 풀듀플렉스 음성 모델

전화 통화처럼 동시에 듣고 말하는 풀듀플렉스 음성 대화 모델이다. 7.5Hz 프레임 레이트로 133ms마다 사용자 오디오를 받아들이고, 같은 시간 안에 자신의 오디오와 텍스트를 생성한다. 청취와 발화가 서로를 기다리지 않는 구조다.

Qwen3.5-4B 텍스트 백본과 VibeVoice 오디오 코덱을 결합했다. 별도 오디오 트랜스포머나 이산 오디오 토큰 없이, 4층 MLP 헤드가 MeanFlow 샘플링을 통해 1단계에서 연속 오디오를 생성한다. NVIDIA GPU 12GB 환경에서 구동되며, PyTorch 및 MLX 구현과 vLLM-Omni 플러그인을 제공한다.

영어, 스페인어, 포르투갈어, 독일어, 프랑스어, 중국어, 일본어, 러시아어, 한국어 등 9개 언어를 지원한다. 텍스트 카드로 캐릭터를 설정하고, 짧은 참조 클립으로 목소리를 지정해 대화할 수 있다. Apache 2.0 라이선스로 공개된 사전학습 기반 모델로, 연구 목적으로 사용된다.