#multi-token-prediction
#multi-token-prediction와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#multi-token-prediction와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Soft-MTP가 노이즈 그라디언트를 제거해 퍼플렉시티를 낮추고 스펙ulative decoding을 가속했다
llama.cpp에 출력 복잡도에 따라 MTP 깊이를 동적으로 조절하는 adaptive MTP 기능이 제안되었다.
LG AI Research가 텍스트와 이미지를 동시에 이해하는 멀티모달 모델 EXAONE 4.5를 오픈 웨이트 방식으로 공개했다.
Google이 기존 Gemini Nano v3 모델에 Multi-Token Prediction을 결합하여 모바일 환경의 추론 병목 현상을 해결했다.
llama.cpp 오픈소스 프로젝트에 StepFun 3.5 MTP 모델 지원을 위한 Pull Request가 제출되었다.
Google AI Edge Gallery가 Gemma 4의 Multi-Token Prediction과 Pixel TPU 지원을 포함한 최신 업데이트를 공개했다.
Google이 Gemma 4용 MTP drafter를 공개해 추론 속도를 최대 3배 높였다.
Google이 Gemma 4용 MTP drafters를 공개해 inference 속도를 최대 3배 높였다.