Google EmbeddingGemma 2 기반 STT 도구, M3 MacBook Air에서 1시간 오디오 12.6초 만에 전사

Google의 EmbeddingGemma 2는 원래 멀티모달 임베딩 모델이었으나, 완전히 온디바이스로 실행되는 음성 인식(STT) 시스템으로 변환되었습니다. 텍스트와 오디오가 공유하는 임베딩 공간을 활용하여, 새로운 도구는 임베딩 공간에서 단어를 직접 읽어내며 Apple Silicon 하드웨어에서 상당한 속도를 달성했습니다.

작동 방식

이 변환은 EmbeddingGemma 2의 원래 오디오 인코더를 유지하면서, 학습된 소형 리더(reader) 컴포넌트를 추가합니다:

• 리더는 짧은 오디오 슬라이스를 모델의 텍스트 공간으로 매핑합니다.
• 약 229,000개의 영어 단어 중 가장 유사한 단어를 선택해 전사문을 구성합니다.
• 보조 소형 모델이 구두점과 대문자 표기를 추가합니다.
• 리더만 학습했으며, 공개 라이선스된 영어 음성 데이터를 사용하여 8×H100 GPU에서 2시간 미만 소요되었습니다.

성능 벤치마크

이 도구는 기본 사양의 M3 MacBook Air (8 GB RAM)에서 288배의 실시간 속도를 달성하며, 1시간 분량의 오디오를 12.6초 만에 전사합니다. 이 성능은 Mac의 Neural Engine을 활용합니다.

소스에 제공된 비교 벤치마크:

• Embedding Gemma Transcribe (M3 MacBook Air, Neural Engine): 288배 (1시간을 12.6초에 처리)
• IBM Granite Speech 5.0 TurboCTC (M3 MacBook Air, GPU/MLX): 약 150배 (1시간을 25.7초에 처리)
• NVIDIA Parakeet TDT 0.6B v3 (M4 Pro, Neural Engine): 156배
• NVIDIA Parakeet TDT 0.6B v3 (M5 Pro, Neural Engine): 335배
• Phonon-2 (M5 Pro, Neural Engine): 480배

정확성 및 배포 현황

현재 단어 오류율(WER)은 약 **5%**로, 주요 전용 음성 모델의 2–3% 수준과 비교됩니다. 개발자들은 향후 반복 작업을 통해 리더 컴포넌트를 개선하여 이 격차를 좁힐 계획입니다.

이 도구는 Apple Silicon을 탑재한 **macOS 14+**에서 무료로 사용할 수 있습니다. 첫 실행 시 715 MB의 모델 다운로드가 필요하며, 오디오를 로컬에서 처리하므로 데이터가 기기를 벗어나지 않습니다.