저비트 추론이 AI를 효율적으로 만드는 법

대규모 AI 모델은 성능이 커질수록 메모리, 연산, 전력 요구도 함께 커진다. Dropbox는 Dash 같은 제품에서 이런 제약을 줄이기 위해 low-bit inference를 핵심 효율화 수단으로 다룬다.

attention 기반 모델에서 비용이 큰 부분은 주로 두 군데다. 하나는 linear layers로, attention 블록과 MLP, 최종 출력 단계에서 반복적인 matrix multiplication이 발생하고, 다른 하나는 긴 context에서 비용이 크게 늘어나는 attention mechanism 자체다.

GPU의 Tensor Cores와 Matrix Cores는 정밀도가 낮아질수록 더 많은 연산을 처리할 수 있다. 보통 정밀도를 절반으로 줄이면 처리량이 거의 두 배로 늘 수 있고, 그래서 quantization은 성능·메모리·전력 효율을 동시에 개선하는 가장 중요한 방법 중 하나가 된다.

정밀도를 낮출 때는 단순히 숫자만 줄이는 것이 아니라, 실제 하드웨어가 처리할 수 있게 맞춰야 한다. 8비트나 4비트로 내릴 때는 메모리 사용량이 줄고, 4비트 이하에서는 bitpacking이 필요하다. 또 FP4 같은 포맷은 Blackwell에서 H100 대비 더 큰 에너지 절감 가능성을 보여 준다.

반대로 binary나 ternary 같은 극저비트 방식은 이론적으로 더 효율적일 수 있지만, 현재의 GPU에서는 Tensor/Matrix Cores를 충분히 활용하기 어렵다. 커스텀 하드웨어나 특수 가속기를 겨냥한 연구는 있지만, 생태계 지원과 모델 품질 문제 때문에 아직 널리 쓰이지는 못했다.

형식은 크게 pre-MXFP와 MXFP로 나뉜다. MXFP 이전에는 주로 A16W4, A8W8 같은 조합이 쓰였고, 4비트 가중치는 AWQ나 HQQ 같은 기법으로 품질을 유지했다. activations와 weights의 정밀도가 다르면 보통 먼저 dequantization을 거친 뒤 MMA를 수행하는데, 이 방식은 메모리 병목에는 유리하지만 compute-bound 환경에서는 추가 연산 때문에 오히려 느려질 수 있다.

이 차이는 weight-only quantization과 activation quantization의 선택으로 이어진다.

• weight-only quantization은 작은 배치와 추론형 작업에서 메모리 대역폭을 줄이는 데 유리하다.
• activation quantization은 긴 context의 prefill이나 고처리량 serving처럼 연산 병목이 큰 경우에 더 적합하다.

정확도를 높이기 위해서는 linear quantization with grouping이 널리 쓰인다. grouping은 텐서의 개별 값이 아니라 32, 64, 128 같은 작은 블록 단위로 scale을 공유해 quantization error를 줄인다. activations 쪽에서는 channel-wise quantization과 per-block quantization이 자주 쓰이며, 후자는 JetFire와 DeepSeek V3처럼 더 미세한 블록 단위 스케일로 outlier 영향을 줄이는 데 강하다.

더 낮은 비트를 노리는 non-linear approaches로는 **QuiP#**와 GPTVQ가 있지만, 실제 배포에서는 구현 복잡도와 커스텀 fused kernel 필요성 때문에 제한이 크다. 반면 4-bit linear quantization은 이미 강한 정확도를 보여 주고, HQQ처럼 on-the-fly로 적용하기도 쉬워서 현재 GPU 환경에서 가장 실용적인 선택으로 남아 있다.

attention 최적화도 같은 방향으로 진화하고 있다. Flash Attention 3와 Sage Attention은 8비트 quantization으로 attention 연산을 가속하면서 처리량과 메모리 효율을 함께 끌어올린다. 결론적으로 저비트 추론의 핵심은 단순히 비트를 줄이는 것이 아니라, 그 형식이 Tensor Core와 inference 프레임워크에 얼마나 잘 맞느냐에 달려 있다.