TextCLF, 캘리브레이션 없는 TQ 양자화 공개

TextCLF가 캘리브레이션 데이터 없이도 즉시 모델 양자화를 가능한 TQ 방식을 공개했다. 기존 캘리브레이션 기반 기법과 비교해 일반화 성능을 개선하면서도 유사한 성능 지표를 유지하는 것이 목표다.

성능 및 방법론

Qwen 3.8 27B 모델에서 4-bit TQ 양자화를 적용한 결과, 평균 KLD 0.0282와 **top-1 정확도 92.4%**를 기록했다. 데이터 수집 단계가 필요 없음에도 캘리브레이션 기반 방식에 준하는 성능을 입증했다.

오픈소스 도구 및 배포

핵심 코드는 GitHub에서 Quant Factory로 공개되어 개발자들이 오픈소스 모델을 로컬에서 양자화하고 실행할 수 있게 한다. 주요 기능은 다음과 같다:

• 현재 지원: 4-bit 양자화 제공
• 향후 로드맵: 2-bit 및 3-bit 양자화 지원 예정
• 배포: Hugging Face에 사전 양자화 모델 제공, vLLM을 통한 쉬운 배포를 위해 Docker 이미지(textclf/tq-quant:4bit-main) 지원

사용자는 제공된 Docker 명령어를 통해 vLLM 서빙 인프라와 직접 연동하여 textclf/Qwen3.8-27B-TQ-4bit 같은 모델을 실행할 수 있다.