Standard GPU에서의 실시간 LLM 추론: 요청당 3,000 tokens/s

AI 에이전트의 생산성은 단순히 모델의 지능뿐만 아니라 **반복 속도(iteration speed)**에 의해 결정됩니다. 에이전트의 작업 흐름(계획, 코드 작성, 테스트, 수정)은 순차적인 루프로 이루어져 있기 때문에, 전체 처리량(throughput)보다 **단일 요청당 디코딩 속도(decode speed per request)**가 사용자 경험과 제품의 실질적인 성능을 좌우합니다.

현재 GPU 기반 추론의 주요 병목 현상은 연산 능력(FLOPS)이 아닌 **메모리 대역폭(Memory Bandwidth)**입니다. 배치 크기(batch size)가 1인 경우, 오토레그레시브 디코딩은 행렬-벡터 연산에 의해 지배되며, 모델의 가중치를 메모리에서 프로세서로 이동시키는 속도가 전체 성능을 제한합니다. 따라서 모델 활용도(MFU)보다 **메모리 대역폭 활용도(MBU)**가 단일 요청 속도의 핵심 지표가 됩니다.

Kog는 기존 추론 스택이 가진 소프트웨어적 한계를 극복하기 위해 다음과 같은 공동 설계(co-design) 방식을 제안합니다:

• 모델 아키텍처, 런타임, 저수준 GPU 커널을 하나의 지연 시간 최적화 파이프라인으로 통합
• 배치 크기 1에 최적화된 설계를 통해 표준 데이터센터 GPU의 잠재력을 극대화

이러한 최적화를 통해 대규모 MoE(Mixture-of-Experts) 모델에서도 표준 GPU를 활용해 초당 3,000 토큰에 달하는 매우 빠른 디코딩 속도를 구현할 수 있음을 입증했습니다.