Whisper 추론 속도 2배 향상 기술

OpenAI의 Whisper 모델은 뛰어난 음성 인식 성능을 제공하지만, 추론 속도가 느리다는 한계가 있다. 이를 해결하기 위해 Speculative Decoding 기법을 도입하여, 모델의 정확도를 완벽하게 유지하면서도 추론 속도를 2배까지 높이는 방법을 공개했다.

Speculative Decoding은 다음과 같은 단계로 작동한다:

• 후보 생성: 가벼운 Assistant Model이 먼저 후보 토큰(candidate tokens)을 빠르게 생성한다.
• 검증: 무거운 Main Model이 단 한 번의 포워드 패스를 통해 생성된 후보 토큰들을 검증한다.
• 교정: 메인 모델의 예측과 일치하는 토큰은 수용하고, 불일치가 발생하는 지점부터는 메인 모델의 결과값으로 교체하여 정확성을 보장한다.

이 방법은 기존 Whisper 파이프라인에 즉시 적용할 수 있는 Drop-in replacement로, 별도의 모델 수정 없이도 효율적인 추론 환경을 구축할 수 있게 한다.