llama.cpp b9200 릴리스
b9200 released - potential mtp pp increase
·2026.05.18 08:46
llama.cpp b9200에 MTP 프롬프트 처리 속도 개선 최적화가 들어갔다.
llama.cpp b9200에 MTP 프롬프트 처리 최적화가 들어갔다.
- 배치의 각 토큰마다 logits를 복사하지 않고, MTP에 필요한 pre-norm만 사용한다.
- 이 변경으로 메모리 트래픽이 줄고, PP(prompt processing) 속도가 빨라진다.
- 커뮤니티 댓글 기준으로는 현재 테스트가 진행 중이다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.