AI Briefing화웨이, 로컬 추론용 오픈소스 양자화 도구 MACaQ 공개
·2026.11.12 05:23
핵심 내용
화웨이가 로컬 추론용 오픈소스 양자화 도구 MACaQ를 공개했다
자세히 보기
- 화웨이 CSL이 텍스트, 이미지, 비디오, 오디오 모델을 지원하는 오픈소스 양자화 도구 MACaQ를 공개함
- 122B 파라미터 모델을 64분 만에 32.5GB의 디바이스 메모리로 양자화함
- MR-GPTQ와 DuQuant++보다 낮은 퍼플렉시티를 달성하거나, Llama-3-8B 기준 최적 퍼플렉시티를 유지하면서 양자화 시간을 11분의 1로 단축함
- llama.cpp(2/3/4-bit GGUF), vLLM(W4A4), Diffusers(이미지/비디오/오디오용 W4A4), PyTorch(음성용 W4A4) 백엔드를 지원함
- Qwen3.8-27B 모델에서 vLLM 기반 MACaQ W4A4는 BF16 대비 프리필 2.33배, 디코드 2.58배 빠른 성능을 보이며 퍼플렉시티는 2.8463에서 2.8994로 증가함
- Apache 2.0 라이선스를 적용하며, 관련 논문은 arXiv(2611.10649)에 게시됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
