Intel-Hugging Face, 모델 가속 협업

Hugging Face와 Intel이 Hardware Partner Program을 통해 공식 파트너십을 체결했다. 양사는 Optimum Intel 오픈소스 라이브러리를 통해 Transformer 모델의 학습, 미세 조정(Fine-tuning) 및 추론 성능을 최적화하는 데 협력한다.

Optimum Intel은 Intel Neural Compressor(INC)를 기반으로 하며, 다음과 같은 기능을 제공한다:

• 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation) 등 최신 최적화 기술 적용
• Intel Xeon Scalable CPU 및 Habana Gaudi 가속기 지원
• 기존 코드의 최소한의 변경만으로 최적의 성능 구현

특히 DistilBERT 모델을 대상으로 한 포스트 트레이닝 양자화(Post-training quantization) 사례를 통해, 메모리 및 연산 요구 사항을 줄이면서도 높은 성능을 유지할 수 있음을 보여준다.