Red Hat, vLLM vs SGLang 성능 비교 해설 공개

Red Hat이 vLLM과 SGLang의 핵심 차이인 KV 캐시 관리 방식과 벤치마크 데이터를 바탕으로 워크로드별 선택 기준을 제시했다. 두 엔진 모두 오픈 가중치 모델 서빙의 표준으로 자리 잡았으나, 메모리 효율성과 지연 최적화 전략에서 차이가 난다.

KV 캐시 관리 방식의 차이

• vLLM (PagedAttention): KV 캐시를 고정 크기 블록으로 분할해 OS 가상 메모리처럼 비연속 할당한다. 기존 시스템의 메모리 단편화로 인한 60~80% 낭비를 해결하고 동시 처리 요청 수를 늘린다.
• SGLang (RadixAttention): 토큰 접두사를 키로 하는 Radix Tree에 캐시를 저장한다. 공통 접두사 경로를 합쳐 재사용하며, Cache-aware Scheduling으로 캐시 적중률을 높인다.

벤치마크 결과 및 해석

Modal의 LLM Engineer's Almanac 데이터(Llama 3.1 8B, H100 기준)에 따르면, 기본 설정에서 두 엔진의 성능은 유사하다.

• RAG/요약 (입력 1024/출력 128): vLLM 17.08 req/s, SGLang 16.88 req/s로 vLLM이 소폭 우위.
• 코드 생성 (입력 128/출력 1024): SGLang 6.50 req/s로 vLLM(5.34 req/s) 대비 약 22% 높은 처리량 기록.
• 긴 채팅 (입력 2048/출력 2048): vLLM 1.23 req/s, SGLang 1.25 req/s로 큰 차이 없음.

워크로드별 선택 가이드

• 오프라인 배치 처리: vLLM 권장.
• 지연 민감 온라인 서빙: Tensor Parallelism과 EAGLE-3 Speculative Decoding을 적용한 SGLang 권장.
• 비NVIDIA 하드웨어: vLLM의 지원 이력이 더 오래되었으나, SGLang도 TPU/Intel/CPU/Apple Silicon 문서 보유.
• 접두사 재사용이 많은 에이전트: 공개 벤치마크 미측정 영역이므로, 실제 트래픽 패턴에 맞춰 GuideLLM 등으로 자체 측정 필요.