TextCLF, 캘리브레이션 없는 4비트 양자화 도구 공개

TextCLF가 Hugging Face 모델을 4비트로 양자화할 수 있는 오픈소스 도구 Quant Factory를 GitHub에 공개했다. 이 도구는 자체 개발한 TextCLF TQ 양자화 방식을 적용해, 기존 캘리브레이션 기반 방식과 달리 별도의 데이터 준비 과정 없이 모델을 즉시 변환할 수 있다는 점이 특징이다.

핵심 기능 및 특징

• 캘리브레이션 프리(Calibration-free): 별도의 캘리브레이션 데이터 없이도 새로운 모델을 즉시 양자화할 수 있어 워크플로우를 간소화한다.
• 성능: 기존 캘리브레이션 기반 양자화 기법(예: Unsloth UD)과 유사한 성능을 유지하는 것으로 보고되었다.
• vLLM 연동: vLLM 추론 엔진과의 호환성을 지원하며, 설치 후 --quantization tq 플래그를 통해 서빙 가능하다.

사용 예시 및 배포 개발자는 제공된 스크립트를 통해 Llama 3.1 8B 등 모델을 양자화하고, 이를 Hugging Face에 업로드하거나 로컬에서 vLLM으로 서빙할 수 있다. TextCLF는 이미 양자화된 모델(Qwen3.8-27B-TQ-4bit 등)을 Hugging Face에 배포하여 즉시 테스트할 수 있도록 제공했다.