AI Briefingllama.cpp b9180 MTP 지원
b9180 llama.ccp MTP landed
·2026.05.17 02:01
핵심 내용
llama.cpp b9180 릴리스에 MTP 지원과 부분 롤백이 추가됐다.
자세히 보기
llama.cpp b9180 릴리스가 Multi-Token Prediction(MTP) 지원을 포함해 나왔다.
spec: support MTP를 중심으로 draft-mtp 명칭 정리, 배치 크기 수정, 변환/문서/포맷 정비가 반영됐다.
speculative decoding 경로에는 GDN partial rollback이 추가돼, draft 토큰 일부가 거절돼도 draft_max까지 되돌릴 수 있게 됐다.
서버와 메모리 처리도 함께 손봤다.
- RS 기반 MTP는 다른 spec 타입과 함께 사용할 때 비활성화
- checkpoint 로직 조정과 early-exit 수정
- dirty ctx 로딩 테스트 추가
릴리스 아티팩트는 macOS, Linux, Android, Windows, openEuler용으로 제공됐다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
