AI BriefingSoft-MTP, 코드 1줄로 MTP 성능 향상
[Paper] Multi-Token Prediction Done Right - Soft-MTP
·2026.10.30 19:59
핵심 내용
Soft-MTP가 코드 1줄 수정으로 MTP 학습 효율과 정확도를 개선했다.
자세히 보기
- 표준 Multi-Token Prediction(MTP) 학습에는 학습을 방해하는 잔차 그래디언트 성분이 존재하며, 모델 규모가 커질수록 이 영향이 심화됨
- Soft-MTP는 KL 그래디언트 복구 기법을 활용해 유용한 자기 증류(self-distillation) 신호를 분리하며, 추가 파라미터나 측정 가능한 오버헤드 없이 코드 1줄 수정으로 구현됨
- 167M에서 1.2B 파라미터 규모까지 표준 MTP 대비 낮은 다음 토큰 퍼플렉시티, 빠른 스펙ulative 디코딩, 높은 제로샷 정확도를 달성함
- DeepSeek 및 Meta 스타일 MTP 아키텍처 모두를 지원하며, 대부분의 지표에서 직접 KL 발산 최소화와 동등하거나 우월한 성능을 보임
- 689M 파라미터부터 MTP 퍼플렉시티 저하가 관찰되며, 1.2B 파라미터에서 파인튜닝 후 수학 및 코드 추론 성능이 더 강하게 나타남
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
