LLM 추론의 효율적 프론티어 (6분 분량)

LLM 추론에서 **효율적 프론티어(efficient frontier)**는 주어진 비용이나 모델 크기에서 달성 가능한 최대 지능 수준을 의미한다. 추론 엔지니어링에서는 주로 **레이턴시(latency)**와 처리량(throughput) 간의 트레이드오프로 표현되며, 이를 관리하는 기술은 프론티어 상의 특정 지점으로 이동하거나 전체 프론티어를 바깥쪽으로 밀어내는 두 가지 방식으로 나뉜다.

트레이드오프 관리 기술

실제 배포 환경에서는 매개변수 변화가 성능에 큰 영향을 미치는 불규칙한 프론티어를 고려해야 한다. 배치 크기(batch sizing) 조정은 가장 기본적인 트레이드오프로, 배치 크기를 늘리면 처리량은 증가하지만 사용자당 레이턴시가 악화된다. 병렬화 전략으로는 Tensor Parallelism(TP)이 레이턴시 감소에, Attention Data Parallelism(ADP)이 처리량 향상에 효과적이다. 또한 **양자화(quantization)**는 품질 손실 없이 서빙 효율을 높일 수 있으며, 특히 MXFP4 및 NVFP4 같은 microscaling 포맷에서 두드러진 성능 개선을 보인다.

프론티어 확장 기술

하드웨어와 소프트웨어 스택 전반의 최적화를 통해 성능의 한계를 넓히는 기술들도 중요하다. **커널 최적화(kernel optimization)**와 런타임 개선은 CUDA 커널 및 forward pass 효율성을 높여 토큰 생성 자원을 줄인다. **추측 디코딩(speculative decoding)**은 작은 배치에서 시작해 EAGLE-3, DFlash 등 최신 기술로 발전하며, 코드 생성처럼 예측 가능한 작업에서 레이턴시를 대폭 감소시킨다. 마지막으로 P/D disaggregation은 prefill과 decode 단계를 전용 워커로 분리해 트래픽 특성에 맞춰 자원 비율을 조정함으로써, 레이턴시를 유지하거나 개선하면서 처리량을 극대화한다.