llama.cpp NVFP4/MTP 지원

NVFP4 + MTP - voilà on llama.cpp

·2026.05.24 03:39

핵심 내용

llama.cpp가 NVIDIA FP4 양자화와 Multi-Token Prediction(MTP) 기능을 지원한다.

llama.cpp 최신 업데이트를 통해 NVFP4(NVIDIA Floating Point 4-bit) 양자화와 MTP(Multi-Token Prediction) 기능이 추가되었습니다.

NVFP4는 NVIDIA 하드웨어에서 효율적인 4비트 추론을 지원하며, MTP는 모델의 추론 성능을 최적화하는 기술입니다.

이번 기능은 llama.cpp의 최신 릴리스(b9297)에 포함되었습니다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.