Intel Core Ultra에서 Qwen3-8B 가속화

Qwen3-8B는 도구 호출 및 다단계 추론 능력을 갖춘 에이전트 특화 모델로, AIPC 환경에 적합하다.

OpenVINO.GenAI를 활용한 Speculative Decoding(추측적 디코딩) 기법을 적용하여, Qwen3-0.6B를 초안(Draft) 모델로 사용할 때 기존 대비 약 1.3배의 속도 향상을 달성했다.

여기에 초안 모델의 레이어를 제거하는 Depth-Pruning(깊이 가지치기) 기술을 결합하여 성능을 더욱 끌어올렸다. Qwen3-0.6B 모델의 28개 레이어 중 6개를 제거한 뒤, 합성 데이터로 미세 조정(Fine-tuning)하여 정확도를 복구하는 방식을 사용했다.

그 결과, 초안 모델의 지연 시간을 단축하여 최종적으로 약 1.4배의 가속 효과를 확인했으며, 이는 로컬 환경에서 AI 에이전트를 더 빠르고 효율적으로 구동할 수 있음을 보여준다.