Intel, 고성능 양자화 도구 AutoRound 공개

AutoRound는 Intel이 개발한 가중치 전용 사후 학습 양자화(PTQ) 방법론이다. 부호가 있는 경사 하강법(signed gradient descent)을 사용하여 가중치 반올림과 클리핑 범위를 공동 최적화함으로써, INT2~INT8 범위의 저비트 양자화에서도 정확도 손실을 최소화한다.

특히 2비트(INT2) 환경에서 기존 베이스라인 대비 최대 2.1배 높은 상대적 정확도를 보여주며, 4비트 환경에서도 경쟁력 있는 성능을 유지한다.

주요 특징 및 장점:

• 빠른 속도와 효율성: 72B 규모의 모델을 A100 GPU에서 약 37분 만에 양자화할 수 있을 만큼 가볍고 빠르며, 단 200회의 튜닝 단계와 128개의 소규모 데이터셋만으로도 높은 정확도를 달성할 수 있다.
• 광범위한 모델 호환성: Qwen, LLaMA, DeepSeek 등 주요 LLM뿐만 아니라 Mistral, Gemma3 등 10개 이상의 VLM을 지원한다.
• 다양한 환경 및 포맷 지원: CPU, Intel GPU, CUDA 장치를 모두 지원하며, GPTQ, AWQ, GGUF 등의 포맷으로 모델을 내보낼 수 있다.
• 유연한 구성: Mixed-bit 튜닝 및 lm-head 양자화를 지원하여 사용자 요구에 맞는 최적화가 가능하다.