llama.cpp b9180 MTP 지원
b9180 llama.ccp MTP landed
·2026.05.17 02:01
llama.cpp b9180 릴리스에 MTP 지원과 부분 롤백이 추가됐다.
llama.cpp b9180 릴리스가 Multi-Token Prediction(MTP) 지원을 포함해 나왔다.
spec: support MTP를 중심으로 draft-mtp 명칭 정리, 배치 크기 수정, 변환/문서/포맷 정비가 반영됐다.
speculative decoding 경로에는 GDN partial rollback이 추가돼, draft 토큰 일부가 거절돼도 draft_max까지 되돌릴 수 있게 됐다.
서버와 메모리 처리도 함께 손봤다.
- RS 기반 MTP는 다른 spec 타입과 함께 사용할 때 비활성화
- checkpoint 로직 조정과 early-exit 수정
- dirty ctx 로딩 테스트 추가
릴리스 아티팩트는 macOS, Linux, Android, Windows, openEuler용으로 제공됐다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.