Microsoft, VibeVoice-ASR-BitNet 공개

Microsoft의 VibeVoice-ASR-BitNet은 GPU 없이 엣지 CPU 환경에서 실시간 추론이 가능하도록 최적화된 압축 모델입니다.

주요 특징은 다음과 같습니다:

• 모델 압축: 이종 양자화(Heterogeneous Quantization)를 통해 모델 크기를 4.62 GB에서 1.58 GB로 축소했습니다.
• 추론 성능: Whisper.cpp 대비 1.6~2.3배 빠른 추론 속도를 제공하며, 단 3개의 CPU 스레드만으로도 실시간 처리 능력(RTF < 1)을 구현했습니다.
• 효율성: 별도의 GPU 없이도 저사양 하드웨어에서 효율적인 음성 인식(ASR) 서비스를 구축할 수 있도록 설계되었습니다.