llama.cpp, Xing4.0-29B-A4B 모델 지원

Add support for the xing4_0 by shuxiaoqiong · Pull Request #31589 · ggml-org/llama.cpp

·2026.11.06 03:30

핵심 내용

llama.cpp가 256K 컨텍스트를 지원하는 Xing4.0-29B-A4B 모델을 지원했다.

llama.cpp Pull Request #31589를 통해 중국 텔레콤 인공지능 기술 유한공사(China Telecom Artificial Intelligence Technology Co., Ltd.)가 개발한 Xing4.0-29B-A4B 모델 지원 추가함
총 파라미터 29B 중 토큰당 4B가 활성화되며, 기본 256K 컨텍스트 길이를 지원하고 512K까지 확장 가능함
Ascend NPU 플랫폼과 MindSpore 프레임워크를 활용해 학습을 수행했으며, 기본 성능 대비 학습 처리량 약 96% 개선 달성함
mHC + MLA + MTP 아키텍처를 채택했으며, SGLang, vLLM, KTransformers를 통한 추론과 LLaMA-Factory, MindFormers를 통한 파인튜닝을 지원함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.