Gemma 4 MTP 공개
Gemma 4 MTP released
·2026.05.06 01:01
Gemma 4용 MTP draft model이 공개돼 추론 속도를 최대 2배 높였다.
Gemma 4 계열의 MTP(Multi-Token Prediction) draft model 체크포인트가 Hugging Face에 올라왔다.
- 공개된 모델은 31B-it-assistant, 26B-A4B-it-assistant, E4B-it-assistant, E2B-it-assistant다.
- MTP는 더 작고 빠른 draft model이 여러 토큰을 먼저 예측하고, target model이 이를 병렬로 검증하는 speculative decoding 방식이다.
- 모델 카드에 따르면 이 방식은 최대 2배의 디코딩 속도 향상을 제공하면서도 표준 생성과 동일한 품질을 유지한다.
- 저지연 추론과 온디바이스 활용을 겨냥한 체크포인트다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.