AI Briefing#mtp
#mtp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#mtp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
ik_llama.cpp가 Qwen3.8-Flash-Next의 MTP 기능을 공식 병합하여 RTX 5090 환경에서 추론 속도가 약 2배 빨라졌다.
llama.cpp에 출력 복잡도에 따라 MTP 깊이를 동적으로 조절하는 adaptive MTP 기능이 제안되었다.
llama.cpp가 MTP 비활성화 상태에서도 특정 아키텍처의 MTP 텐서를 기본 로드하도록 변경되어 VRAM 사용량이 증가합니다.
LG AI연구원이 시각 정보와 언어를 동시에 처리하는 오픈 웨이트 VLM인 EXAONE 4.5를 공개했다.
Xiaomi가 Hugging Face를 통해 대규모 파라미터를 가진 MiMo-V2.5-DFlash 모델 가중치를 공개했다.
Gemma 4 QAT 모델용 MTP 헤드 공개와 llama.cpp 병렬 실행 오류 수정 소식이다.
llama.cpp에서 Qwen 모델의 MTP 성능을 개선하기 위한 post-norm hidden state 적용 PR이 제출되었습니다.
llama.cpp 오픈소스 프로젝트에 StepFun 3.5 MTP 모델 지원을 위한 Pull Request가 제출되었다.
MTP 헤드를 통합하여 별도의 드래프트 모델 없이 self-speculative decoding이 가능한 Qwen3.6 GGUF 모델이 출시되었다.
llama.cpp가 Flash Attention 사용 시 KQ 마스크를 f16으로 처리하여 VRAM 사용량을 줄이는 업데이트를 반영했다.
Qwen3.6-35B-A3B 모델에 MTP를 적용하여 llama-server에서 약 1.49배의 디코딩 속도 향상을 달성했다.
llama.cpp가 NVIDIA FP4 양자화와 Multi-Token Prediction(MTP) 기능을 지원한다.
llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.
Unsloth가 Multi-Token Prediction(MTP) 기술이 적용된 Qwen 모델의 GGUF 버전을 공개했다.
Unsloth 양자화 모델에 MTP 레이어를 결합하여 Qwen3.6의 추론 성능을 최적화하는 방법을 안내한다.
llama.cpp의 MTP 지원을 통해 Qwen 3.6 27B 모델의 추론 속도를 2.5배 높일 수 있습니다.
Google이 Gemma 4의 MTP 기능을 공개 배포판에서 제외했다가 커뮤니티의 발견 이후 보조 모델 형태로 지원을 시작했다.