LLM 추론 최적화의 핵심 기술: 양자화·KV 캐시·추론 칩

에이전틱 AI 확산으로 AI 산업의 중심이 학습에서 추론 최적화로 이동하고 있다. Deloitte는 전체 AI 컴퓨팅에서 추론 비중이 2023년 약 3분의 1에서 2026년 약 3분의 2까지 늘어날 것으로 전망했으며, 2026년 AI 클라우드 인프라 지출 중 추론 분야가 약 206억 달러를 차지해 학습 지출을 처음으로 넘어설 것으로 내다봤다.

**양자화(Quantization)**는 FP16 가중치를 INT4처럼 낮은 정밀도의 데이터 타입으로 변환해 모델 크기를 줄이는 기술이다. FP16에서 INT4로 바꾸면 모델 크기를 약 75% 줄일 수 있어 제한된 VRAM에서도 더 큰 모델을 실행할 수 있으며, 메모리 접근량과 연산 복잡도가 감소해 응답 지연시간도 낮아진다.

하지만 긴 컨텍스트와 동시 접속자가 늘어나면 **KV 캐시(Key-Value Cache)**가 새로운 병목으로 떠오른다. KV 캐시는 이미 처리한 토큰의 상태를 저장해 중복 연산을 막지만, 컨텍스트 길이에 따라 메모리 사용량이 선형적으로 증가한다. 모델 가중치를 줄여도 KV 캐시가 GPU VRAM을 가득 채울 수 있으며, 기존 양자화 방식은 블록별 양자화 상수 저장에 따른 1~2비트 오버헤드가 발생한다.

Google Research의 TurboQuant는 모델 가중치가 아니라 실시간으로 증가하는 KV 캐시 자체를 압축한다. PolarQuant로 데이터 벡터를 변환해 정규화와 양자화 상수 저장을 없애고, QJL(Quantized Johnson-Lindenstrauss)로 고차원 데이터를 1비트 부호로 축소해 추가 메모리 오버헤드를 줄인다.

Google Research 벤치마크에서 TurboQuant는 다음 성능을 보였다.

• 장문맥 태스크에서 KV 캐시 메모리를 최소 6배 절감
• H100 GPU에서 4비트 설정으로 어텐션 로짓 연산을 최대 8배 가속
• 별도 학습이나 파인튜닝 없이 KV 캐시를 3비트까지 양자화
• GloVe 벡터 검색에서 기존 양자화 기법보다 높은 1@k recall 달성

하드웨어도 추론 중심으로 재편되고 있다. **Groq LPU(Language Processing Unit)**와 Google TPU 같은 추론 특화 프로세서는 대규모 학습에 맞춰진 GPU와 함께 실시간 생성과 비용 효율을 겨냥한 대안으로 주목받고 있다. 결국 에이전틱 AI 인프라의 경쟁력은 모델 크기뿐 아니라 가중치, KV 캐시, 추론 하드웨어를 함께 최적화하는 데 달려 있다.