llama.cpp, 동적 MTP 최적화 기능 제안

llama.cpp에 adaptive MTP(Multi-Token Prediction) 모드를 추가하는 Pull Request가 제안되었습니다. 이 기능은 카운팅 방식의 상태 머신을 활용하여 모델의 출력 특성에 맞춰 적절한 MTP 깊이를 동적으로 결정합니다.

이를 통해 사용자가 최적의 MTP 깊이를 수동으로 설정할 필요 없이, 서버가 실시간으로 최적의 값을 찾아 성능을 최적화할 수 있습니다.

주요 성능 및 특징:

• 코딩 작업: 코드 생성 시 약 **10~15%**의 성능 향상이 있으며, 특히 사고 단계(thinking phase)의 코드를 회상할 때는 속도가 50% 이상 빨라집니다.
• 파일 재작성: 모델이 파일 전체를 메모리에서 재작성하는 경우, 기존 MTP=3 대비 최대 100% 빠른 속도를 보여줍니다.
• 텍스트 회상: 일반적인 문장 회상 시 약 **20~30%**의 속도 향상이 나타납니다.
• 일반 문장 생성: 예측이 어려운 문장 생성 시 기존 대비 약 3% 정도 성능이 낮아질 수 있으나, 코딩 등 특정 작업에서의 이점이 훨씬 큽니다.

권장 설정: --spec-type draft-mtp-adaptive --spec-draft-n-max 12 옵션을 통해 MTP 깊이를 3에서 12 사이로 가변적으로 운용할 수 있습니다.