Gemma 4 MTP 공개
Gemma 4 MTP released
·2026.05.06 01:01
핵심 내용
Gemma 4용 MTP draft model이 공개돼 추론 속도를 최대 2배 높였다.
자세히 보기
Gemma 4 계열의 MTP(Multi-Token Prediction) draft model 체크포인트가 Hugging Face에 올라왔다.
- 공개된 모델은 31B-it-assistant, 26B-A4B-it-assistant, E4B-it-assistant, E2B-it-assistant다.
- MTP는 더 작고 빠른 draft model이 여러 토큰을 먼저 예측하고, target model이 이를 병렬로 검증하는 speculative decoding 방식이다.
- 모델 카드에 따르면 이 방식은 최대 2배의 디코딩 속도 향상을 제공하면서도 표준 생성과 동일한 품질을 유지한다.
- 저지연 추론과 온디바이스 활용을 겨냥한 체크포인트다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.