Hugging Face, Intel OpenVINO 통합

Hugging Face가 Intel과 협력하여 개발 중인 하드웨어 가속 도구인 Optimum Intel에 Intel OpenVINO를 통합했다.

이번 업데이트를 통해 사용자는 Hugging Face Hub 또는 로컬에 있는 Transformer 모델을 다양한 Intel 프로세서 환경에서 OpenVINO 런타임을 사용하여 손쉽게 추론할 수 있다. 또한, OpenVINO NNCF(Neural Network Compression Framework)를 통해 모델을 양자화함으로써 모델 크기를 줄이고 추론 지연 시간을 단축할 수 있다.

주요 기능 및 지원 사항은 다음과 같다:

• OVModels를 활용한 대규모 PyTorch 모델 추론 지원 (OpenVINO 2022.2 기반)
• BERT, DistilBERT 등 주요 인코더 모델에 대한 사후 학습 정적 양자화 및 양자화 인식 학습 지원
• Vision Transformer(ViT) 모델에 대한 양자화 워크플로우 제공

현재 인코더-디코더 모델의 양자화는 지원되지 않으나, 향후 OpenVINO 업데이트를 통해 지원 범위가 확대될 예정이다.