Soft-MTP, 한 줄 코드로 MTP 그라디언트의 숨겨진 KL 신호 복원

Multi-Token Prediction Done Right [R]

·2026.10.31 03:53

핵심 내용

Soft-MTP가 한 줄 코드 변경으로 MTP 그라디언트의 숨겨진 KL 신호를 복원해 성능을 높였다

표준 Multi-Token Prediction(MTP) 그라디언트에는 다음 토큰 예측을 해치는 노이즈 잔차 뒤에 KL 자기 증류(self-distillation) 신호가 숨겨져 있음
제안된 "KL gradient-recovery trick"는 h_ntp += h_mtp.detach() - h_mtp라는 한 줄 코드 변경으로 KL 그라디언트를 추출함
Soft-MTP는 다양한 작업에서 MTP 성능을 향상시키는 "free lunch"로 설명됨
GitHub 코드, arXiv(2610.38331) 논문, Hugging Face 컬렉션 등 리소스 제공됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.