AI BriefingSoft-MTP, 노이즈 잔차 제거로 MTP 학습 효율성 및 스펙ulative decoding 속도 향상
·2026.11.04 15:46
핵심 내용
Soft-MTP가 노이즈 그라디언트를 제거해 퍼플렉시티를 낮추고 스펙ulative decoding을 가속했다
자세히 보기
- 표준 Multi-Token Prediction(MTP) 학습은 잔차 그라디언트 성분이 학습을 방해하고 유용한 KL 자기 증류(self-distillation) 신호를 묻는 문제를 안고 있음
- 제안된 Soft-MTP 방법은 KL 그라디언트 복구 트릭을 활용해 KL 신호만 역전파하며, 어휘 크기(vocabulary-sized)의 로짓(logit) 행렬이나 추가 파라미터가 불필요함
- 167M에서 1.2B 파라미터 규모 실험 결과, Soft-MTP는 표준 MTP 대비 더 낮은 NTP 퍼플렉시티(perplexity), 더 빠른 스펙ulative decoding, 더 높은 제로샷 정확도를 달성함
- 해당 접근법은 DeepSeek 방식과 Meta 방식의 MTP 아키텍처 모두를 지원하며, 대부분의 지표에서 직접적인 KL 발산(KL divergence) 최소화보다 동등하거나 우수한 성능을 보임
- 코드는 GitHub에서 Soft-MTP 이름으로 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
