vLLM, GuideLLM v0.8.0 공개

vLLM 프로젝트가 LLM 서빙 성능 벤치마크 도구인 GuideLLM v0.8.0을 공개했다. 이번 업데이트의 핵심은 단순 처리량(RPS) 대신 지연 SLO를 준수하는 요청의 처리율인 goodput을 측정하고, 이를 달성하는 최대 동시성을 자동으로 탐색하는 기능이다.

SLO 기반 goodput 및 동시성 탐색

서버가 포화 상태에 도달하면 처리량은 유지되지만 지연이 급증하는 구간이 발생한다. GuideLLM v0.8.0은 TTFT, TPOT, E2E 지연 기준과 준수 요청 비율을 설정해 SLO attainment와 request goodput을 계산한다. goodput 프로파일을 사용하면 동시성을 2배씩 증가시키다가 실패 경계에서 이분 탐색을 수행해 목표 달성률(기본값 0.95)을 지키는 최적의 동시성을 찾아낸다. 문서 예시에서는 동시성 16일 때 goodput 24.6/s(달성률 100%)였으나, 동시성 32일 때는 요청 수는 유사하지만 goodput이 19.3/s(달성률 79.6%)로 22% 하락하는 것을 확인했다.

에이전트 트레이스 재생 지원

복잡한 에이전트 부하를 재현하기 위해 WEKA와 OpenTelemetry(OTEL) 형식의 트레이스 재생을 지원한다. WEKA 형식은 서브에이전트와 도구 호출을 포함한 세션 단위 대화를 처리하며, SemiAnalysis의 Claude Code 트레이스 데이터셋을 예시로 제공한다. OTEL 형식은 GenAI 스팬을 기반으로 성공한 LLM 호출만 재생하며, history 옵션을 통해 기록된 메시지 전체 전송(trace) 또는 실시간 응답 기반 전송(runtime)을 선택할 수 있다. 이를 통해 접두 문맥 캐시(prefix cache) 적중률 등 실제 에이전트 환경의 성능 특성을 분석할 수 있다.

업그레이드 주의 사항

v0.7.x에서 v0.8.0으로 업그레이드 시 Breaking Change가 있다. --profile 인자의 기본값(sweep)이 제거되어 반드시 지정해야 하며, 기존 내장 시나리오(chat, rag 등)는 폐기되고 rhaiis/... 형식의 7종 시나리오로 교체되었다. 또한 작업 프로세스 기본값이 spawn으로 변경되었다. v0.8.1에서는 프로파일 인자의 목록 형태 사용이 폐기 예정이므로 --override를 사용하는 것이 권장된다.