Intel CPU용 VLM 최적화 및 실행 가이드

Vision Language Model(VLM)을 로컬 환경의 Intel CPU에서 효율적으로 구동하기 위한 최적화 과정을 다룬다. Optimum Intel과 OpenVINO를 활용하여 SmolVLM과 같은 소형 모델의 메모리 사용량을 줄이고 추론 속도를 높이는 것이 핵심이다.

주요 단계:

1. 모델 변환 (Model Conversion) 모델을 OpenVINO IR 형식으로 변환해야 한다. optimum-cli를 사용하거나 모델 로드 시점에 즉시 변환하는 방식을 선택할 수 있다.

2. 양자화 (Quantization) 모델의 정밀도를 낮춰 크기를 줄이고 속도를 높이는 과정으로, 두 가지 옵션이 있다.

• Weight Only Quantization (WOQ): 가중치(Weights)만 양자화한다. 메모리 효율과 로딩 속도는 개선되지만, 활성화 함수(Activations)는 원본 정밀도를 유지하므로 추론 속도 향상은 제한적이다. 정확도 저하가 적은 것이 장점이다.
• Static Quantization: 가중치와 활성화 함수를 모두 양자화한다. 최적의 파라미터를 찾기 위해 대표 데이터셋을 활용한 Calibration(교정) 단계가 필요하며, 성능 향상 폭이 더 크다.