llama.cpp, MTP와 멀티모달 통합 지원 준비
B9109: preemptive fix for mtp & mmproj fix soon? It appears so
·2026.05.12 07:20
llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.
최근 코드 변경 사항을 통해 **MTP(Multi-Token Prediction)**와 멀티모달(mmproj) 기능의 통합을 위한 핵심 수정 작업이 확인되었다.
주요 업데이트 내용은 다음과 같다:
- 이미지 드래프트 컨텍스트 처리: 이미지(mmproj)를 스펙큘레이티브/드래프트 컨텍스트를 통해 처리할 수 있도록 하여, MTP와 멀티모달 사용 시 발생하던 충돌 문제를 해결한다.
- mtmd 드래프트 처리 수정: 멀티모달 핸들러인
mtmd의 드래프트 처리 로직을 수정하여 안정성을 확보한다. - 병렬 드래프트 지원: MTP를 대규모로 효율적으로 실행하기 위해 여러 드래프트 모델을 동시에 실행할 수 있는 인프라를 구축한다.
이러한 일련의 변경 사항은 MTP와 멀티모달 기능의 결합을 목표로 하는 집중적인 업데이트로 판단된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.