higurashi Haru-4B, 4,000만 시간 음성 학습으로 65ms 지연 달성
Haru-4B: 4,000만 시간의 실제 음성으로 학습한, 듣는 동안 말하는 전이중 음성 대화 모델 공개 (feat. Qwen3.5, MeanFlow)
·2026.11.16 16:00
핵심 내용
higurashi가 4,000만 시간 실제 음성 데이터로 학습한 전이중 음성 모델 Haru-4B를 공개했다.
자세히 보기
- Qwen3.5-4B 기반 전이중(Full-Duplex) 음성 대화 모델 Haru-4B를 Apache 2.0 라이선스로 오픈소스 공개함
- 합성 데이터 제외 160개 언어 이상 실제 음성 4,000만 시간 이상을 학습 데이터로 사용함
- MacBook M1 Max(int8) 환경에서 종단간 지연 약 65ms, NVIDIA B300 서버 기준 추론 지연 약 15ms 기록함
- 32개 레이어 중 4개마다 1개는 Full Attention, 나머지는 Gated DeltaNet(Linear Attention) 구조 적용함
- VibeVoice 인과 음향 토크나이저 사용, 24kHz 음성 3,200샘플을 64차원 연속 잠재 벡터 1개로 변환함
- MeanFlow 증류로 플로우 매칭 헤드를 한 단계 생성으로 최적화, 가이던스 스케일 기본 1.5 설정함
- PyTorch, MLX, vLLM-Omni 플러그인 지원, 체크포인트는 BF16 기준 약 10GB 용량임
- 현재 음성 전용 모델이며, 100B 파라미터 이상 전이중 모델 및 옴니모달 모델 개발 진행 중임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.