Intel, 고성능 양자화 도구 AutoRound 공개
Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs
·2025.04.29 09:00
Intel이 저비트 양자화에서도 높은 정확도를 유지하는 LLM/VLM용 도구 AutoRound를 공개했다.
AutoRound는 Intel이 개발한 가중치 전용 사후 학습 양자화(PTQ) 방법론이다. 부호가 있는 경사 하강법(signed gradient descent)을 사용하여 가중치 반올림과 클리핑 범위를 공동 최적화함으로써, INT2~INT8 범위의 저비트 양자화에서도 정확도 손실을 최소화한다.
특히 2비트(INT2) 환경에서 기존 베이스라인 대비 최대 2.1배 높은 상대적 정확도를 보여주며, 4비트 환경에서도 경쟁력 있는 성능을 유지한다.
주요 특징 및 장점:
- 빠른 속도와 효율성: 72B 규모의 모델을 A100 GPU에서 약 37분 만에 양자화할 수 있을 만큼 가볍고 빠르며, 단 200회의 튜닝 단계와 128개의 소규모 데이터셋만으로도 높은 정확도를 달성할 수 있다.
- 광범위한 모델 호환성: Qwen, LLaMA, DeepSeek 등 주요 LLM뿐만 아니라 Mistral, Gemma3 등 10개 이상의 VLM을 지원한다.
- 다양한 환경 및 포맷 지원: CPU, Intel GPU, CUDA 장치를 모두 지원하며, GPTQ, AWQ, GGUF 등의 포맷으로 모델을 내보낼 수 있다.
- 유연한 구성: Mixed-bit 튜닝 및 lm-head 양자화를 지원하여 사용자 요구에 맞는 최적화가 가능하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.