🤗 Transformers 지원 양자화 방식 가이드

양자화는 대규모 모델을 소형 기기에서 추론하거나, 양자화된 모델 위에 **어댑터를 미세 조정(Fine-tuning)**하기 위해 사용된다.

현재 🤗 Transformers에서 네이티브로 지원하는 주요 양자화 방식은 다음과 같다:

• bitsandbytes: 모델 추론 및 효율적인 미세 조정을 지원한다.
• auto-gptq: 모델의 추론 속도 최적화에 중점을 둔다.

참고로 🤗 Optimum 라이브러리에서도 다양한 양자화 방식을 지원하지만, 본 내용은 Transformers 라이브러리 내의 기본 지원 기능에 초점을 맞춘다. 또한, 현재 이 정보는 PyTorch 모델에만 적용되며 TensorFlow 및 Flax/JAX 모델은 지원 범위에서 제외된다.