higurashi Haru-4B, 4,000만 시간 음성 학습으로 65ms 지연 달성

Haru-4B: 4,000만 시간의 실제 음성으로 학습한, 듣는 동안 말하는 전이중 음성 대화 모델 공개 (feat. Qwen3.5, MeanFlow)

·2026.11.16 16:00

핵심 내용

higurashi가 4,000만 시간 실제 음성 데이터로 학습한 전이중 음성 모델 Haru-4B를 공개했다.

1 / 5

자세히 보기

  • Qwen3.5-4B 기반 전이중(Full-Duplex) 음성 대화 모델 Haru-4B를 Apache 2.0 라이선스로 오픈소스 공개함
  • 합성 데이터 제외 160개 언어 이상 실제 음성 4,000만 시간 이상을 학습 데이터로 사용함
  • MacBook M1 Max(int8) 환경에서 종단간 지연 약 65ms, NVIDIA B300 서버 기준 추론 지연 약 15ms 기록함
  • 32개 레이어 중 4개마다 1개는 Full Attention, 나머지는 Gated DeltaNet(Linear Attention) 구조 적용함
  • VibeVoice 인과 음향 토크나이저 사용, 24kHz 음성 3,200샘플을 64차원 연속 잠재 벡터 1개로 변환함
  • MeanFlow 증류로 플로우 매칭 헤드를 한 단계 생성으로 최적화, 가이던스 스케일 기본 1.5 설정함
  • PyTorch, MLX, vLLM-Omni 플러그인 지원, 체크포인트는 BF16 기준 약 10GB 용량임
  • 현재 음성 전용 모델이며, 100B 파라미터 이상 전이중 모델 및 옴니모달 모델 개발 진행 중임

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.