vLLM, NIXL 기반 푸시 KV 전송 도입… TTFT 최대 3배 단축

vLLM이 NIXL 커넥터를 활용한 푸시 기반 KV 전송 메커니즘을 도입해 분산 추론을 최적화했다. 기존 풀 기반 방식이 프리필 완료, 라우터 신호, 블록 할당을 직렬화했던 것과 달리, 새 방식은 디코드 측 설정과 프리필 연산을 병렬화한다. 이를 통해 직렬화 병목 현상을 제거하고, 프리필 측 백그라운드 스레드로 전송 설정 작업을 이동시켜 토큰 생성 중 지연 시간을 최소화한다.

성능 개선

Amazon EC2 P5en 인스턴스(p5en.48xlarge, 8x NVIDIA H200 GPU)에서 Qwen3-32B 모델을 사용해 고부하 및 긴 프롬프트 조건에서 벤치마크를 진행한 결과, 상당한 성능 향상을 확인했다.

• TTFT(Time To First Token): 최대 3배 개선 (예: 8 QPS, 입력 길이 16k 조건에서 약 1,744ms에서 약 540ms로 단축).
• TPOT(Time Per Output Token): 최대 30% 개선 (예: 높은 동시성 조건에서 약 10.4ms에서 약 7ms로 단축).
• 부하 의존성: 저부하 및 짧은 프롬프트에서는 푸시와 풀 모드 성능이 유사하다. 요청률과 입력 길이가 증가할수록 이점이 두드러진다.

구현 및 트레이드오프

푸시 프로토콜은 디코드 측이 프리필 측에 대상 블록을 사전 등록하는 방식으로 작동한다. 프리필 연산과 등록이 완료되면 프리필 측이 NIXL WRITE를 통해 디코드 측으로 KV 블록을 푸시한다. 이 과정에서 전송 설정 작업이 프리필 측 백그라운드 스레드로 이동하여 디코드 인스턴스의 지연에 민감한 토큰 생성을 차단하지 않는다.

주요 트레이드오프는 푸시 방식이 디코드 인스턴스 선택을 더 일찍 고정해야 하므로, 풀 방식에 비해 로드 인식 라우팅과 QoS의 유연성이 제한된다는 점이다. 구현은 EFA(Elastic Fabric Adapter) 최적화를 활용하며, GPUDirect RDMA를 통해 GPU 메모리 간 KV 블록을 직접 전송한다.

검증 환경

결과는 1P1D(1 프리필, 1 디코드) 배포 환경에서 다음 구성으로 검증했다.

• 하드웨어: EFA로 연결된 Amazon EC2 p5en.48xlarge 인스턴스 2대(각 8x NVIDIA H200).
• 소프트웨어: Ubuntu 24.04, NVIDIA Driver 580.126.16, CUDA 13.0, vLLM 0.29.0, NIXL 1.4.1.
• 구성: 전체 KV 전송 측정을 위해 프리픽스 캐싱을 비활성화했다.

향후 작업으로는 GitHub PR #45211에서 추적 중인 대로, 백그라운드 NIXL 스레딩 모델을 풀 커넥터에도 적용해 TTFT를 개선할 계획이다.