MMFlash, VLM 추론 속도 최대 3.58배 가속
[Paper & Models] MMFlash: Faster Speculative Decoding for Vision-Language Models
·2026.11.16 19:48
핵심 내용
MMFlash가 적응형 추측 디코딩으로 VLM 추론 속도를 최대 3.58배 높였다
자세히 보기
- MMFlash는 다양한 멀티모달 벤치마크에서 최대 3.58배의 손실 없는 속도 향상을 달성하는 비전-언어 모델(VLM)용 추측적 디코딩 프레임워크를 제안함
- 드래프터가 예측을 잘 못하는 시각 의존 토큰의 가중치를 적응적으로 높여 기존 베이스라인 EAGLE-3과 DFlash 대비 각각 최대 195.4%, 17.1%의 성능 우위를 확보함
- KL 발산 기반 토큰 단위 시각 의존성 지표에 따르면, 수용률은 시각 의존성이 가장 낮은 4분위에서 46%에서 가장 높은 4분위에서 22%로 하락하며, 멀티모달 학습 후에도 이러한 격차가 지속됨
- 긴 영상 입력 처리 시 드래프터 비용을 시각 토큰 수와 독립적으로 유지하면서 4만 토큰 영상 프롬프트에서도 효율성을 유지하기 위해 희소 주의력을 적용함
- Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B, Gemma 4 E4B-it용 드래프터가 Hugging Face에 공개되며, 패치 없이 표준 SGLang과 vLLM에서 실행 가능함
- 단일 H200 GPU, 배치 크기 1, 그리디 디코딩 환경에서 Qwen3.5-4B/9B는 3.0배, Qwen3.8-27B는 최대 4.7배의 성능 향상을 기록함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.