SmoothQuant를 통한 CPU LLM 추론 최적화

LLM은 방대한 파라미터로 인해 높은 컴퓨팅 비용과 GPU 의존성이 발생하며, 이는 많은 조직에 비용적 부담이 된다. 이를 해결하기 위해 모델의 크기와 추론 지연 시간을 줄이는 양자화(Quantization) 기술이 핵심적인 역할을 한다.

일반적인 양자화는 모델 파라미터를 16비트 부동 소수점에서 8비트 정수(INT8) 등으로 변환하여 메모리 사용량을 줄이고 연산 속도를 높인다. 그러나 LLM은 특정 활성화 채널에서 매우 큰 값인 **아웃라이어(Outlier)**가 발생하는 특성이 있어, 기존 방식으로는 모델의 정확도가 크게 저하되는 문제가 있다.

SmoothQuant는 가중치와 활성화 값에 수학적 변환을 적용하여 아웃라이어의 영향을 완화하는 기술이다. 이를 통해 모델 품질 저하 없이 8비트 양자화를 수행할 수 있으며, 결과적으로 Intel Xeon CPU 환경에서도 효율적인 LLM 추론이 가능해진다.