llama.cpp, Tencent Hy3 모델 지원
model: add Hy3 (hy_v3) support with MTP speculative decoding by satindergrewal · Pull Request #25395 · ggml-org/llama.cpp
·2026.07.14 11:46
llama.cpp에 Tencent의 299B MoE 모델인 Hy3 지원 및 MTP 기반 투사적 디코딩이 추가되었습니다.
Tencent의 Hy3 (hy_v3 / HYV3ForCausalLM) 모델 지원이 llama.cpp에 추가되었습니다. 이 모델은 299B 파라미터 규모의 MoE(Mixture-of-Experts) 구조를 가집니다.
주요 기술적 특징은 다음과 같습니다:
- 80개의 레이어와 1개의 MTP(Multi-Token Prediction) 레이어로 구성
- MTP 헤드를 활용한 투사적 디코딩(Speculative Decoding) 지원
이번 업데이트를 통해 대규모 MoE 모델인 Hy3를 llama.cpp 환경에서 효율적으로 추론할 수 있는 기반이 마련되었습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.