LLM을 위한 고급 양자화 알고리즘

AutoRound는 Intel이 공개한 LLM/VLM 양자화 툴킷으로, sign-gradient descent를 이용해 2~4비트 초저비트 구간에서도 정확도를 높이도록 설계됐다. SignRoundV1, SignRoundV2와 연결되며, Transformers, vLLM, SGLang 등 주요 추론 생태계와의 연동을 강조한다.

최근 업데이트는 다음과 같다.

• 2026/03: FP8_BLOCK 조합으로 block-wise FP8 양자화를 지원했다.
• 2026/03: MTP layer quantization을 추가했다.
• 2025/12: enable_alg_ext와 AutoScheme API로 mixed-precision 재현을 지원했다.
• 2025/11~10: LLM-Compressor, SGLang, vLLM, Transformers 통합을 확대했다.
• 2025/09~08: MXFP4/NVFP4, 개선된 INT2, enhanced GGUF 알고리즘을 제공했다.

사용 측면에서는 CLI와 Python API를 모두 제공한다. 기본적으로 W4A16을 추천하고, auto-round-best는 정확도 우선, auto-round-light는 속도 우선 레시피다. W2A16에는 enable_alg_ext를 켠 auto-round-best 조합을 권장한다.

문서상 7B 모델은 단일 GPU에서 약 10분 안팎으로 양자화할 수 있고, 다중 GPU, 여러 캘리브레이션 데이터셋, 10개 이상 런타임 백엔드, 10개 이상 VLM 지원도 포함한다. 출력 형식도 auto_round, AutoAWQ, AutoGPTQ, GGUF, LLM-Compressor까지 넓혔다.