AI 추론 시스템의 총체적 최적화

AI 경쟁의 축이 “더 크게”에서 “더 효율적으로”로 이동하면서, 핵심 과제는 대규모 AI inference를 얼마나 낮은 비용으로 안정적으로 돌리느냐가 됐다. 최신 GPU를 쓰는 것만으로는 부족하고, 모델·컴파일·메모리·통신·스케줄링을 함께 다뤄야 한다.

효율 최적화의 출발점은 모델 압축이다. 모델은 주로 BF16이나 FP32로 학습되지만, 추론에서는 FP8이나 INT8 같은 더 낮은 정밀도로도 큰 손실 없이 돌릴 수 있다. 글은 FP8 연산이 FP32보다 최대 10배 적은 에너지를 쓰고, INT8은 FP8보다 약 2배 더 효율적일 수 있으며, FP8/INT8 가중치는 FP32 대비 4배 적은 메모리를 차지한다고 설명한다. 또 HBM에서 32비트 float를 옮기는 비용은 FP32 곱셈보다 최대 50배까지 더 클 수 있어, 계산보다 메모리 이동을 줄이는 구조가 중요해진다.

압축 기법으로는 다음이 강조된다.

• Pruning: 중요하지 않은 채널이나 가중치를 제거해 모델을 줄인다. 구조적 pruning은 채널·레이어 단위 제거이고, 비구조적 pruning은 개별 가중치를 0으로 만들어 희소성을 높인다.
• Knowledge distillation: 큰 teacher 모델의 출력을 바탕으로 작은 student 모델을 학습한다. 경우에 따라 크기를 절반 수준으로 줄이면서 정확도 손실을 크게 억제할 수 있다.
• Quantization: BF16/FP32 연산을 INT8/FP8로 바꿔 메모리와 연산 비용을 낮춘다. 학습 중 양자화는 더 정교하고, 사후 양자화는 재학습이 어려울 때 유리하다.

두 번째 축은 Parallelism and disaggregated execution이다. 모델이 단일 디바이스에 안 들어가면 여러 디바이스로 나눠 돌려야 하고, 들어가더라도 처리량이나 지연 시간을 위해 분산 실행이 더 나을 수 있다. 대표 방식은 pipeline parallelism과 tensor parallelism이며, 최근에는 **E-P-D (encode-prefill-decode)**처럼 LLM의 특정 단계만 분리해 서로 다른 장치에서 실행하는 방식도 주목받는다.

• Pipeline parallelism은 레이어를 순차적으로 다른 디바이스에 나눠 맡긴다. 통신 오버헤드 때문에 지연 시간은 늘 수 있지만, 배치 크기를 키우기 쉬워 전체 처리량은 좋아질 수 있다.
• Tensor parallelism은 하나의 연산 자체를 여러 디바이스에 나눠 수행한다. 큰 행렬곱처럼 병렬화가 잘 되는 연산에서는 처리량을 높이고 디바이스당 메모리 부담을 낮춘다.
• 다만 reduction이나 softmax처럼 전체 입력을 모아야 하는 연산은 동기화 비용이 생긴다.

세 번째 핵심은 KV-cache다. LLM 추론에서는 필수적인 동시에 병목이 되는 요소라서, 이를 분산하거나 압축하는 새로운 기법들이 계속 나오고 있다. 네 번째는 batching으로, 요청을 하나씩 처리하지 않고 묶어서 보내면 처리량과 하드웨어 활용률이 크게 올라간다.

다섯 번째는 code generation이다. AI compiler가 모델을 하드웨어별 최적 명령으로 바꿔 실행 효율을 끌어올린다. 마지막은 scheduling으로, 실제 사용자 트래픽을 어떻게 여러 모델과 여러 장비에 배분하느냐가 관건이다. foundation model부터 덜 인기 있는 모델, fine-tuned 버전까지 함께 서비스하려면, 가용 자원을 세밀하게 관리하는 스케줄링이 필요하다.

핵심 메시지는 단순하다. AI inference 최적화에는 단일 해법이 없고, 모델 정밀도, 실행 방식, 컴파일, 메모리 이동, 배치, 스케줄링까지 전 계층을 함께 설계해야 한다. 결국 승부는 가장 빠른 GPU가 아니라, 제약된 자원을 가장 똑똑하게 쓰는 holistic system design에 달려 있다.