vLLM 병목 진단 도구 'Profile' 출시

vLLM의 실시간 메트릭을 분석하여 GPU의 성능 한계(roofline ceiling)와 비교하고, 병목 현상을 식별하여 해결책을 제시하는 추론 튜닝 도구 Profile v2.2가 출시되었습니다.

Qwen3.8-27B 모델을 단일 H100 80GB 환경에서 테스트한 결과, 3회의 반복 튜닝을 통해 다음과 같은 성능 향상을 달성했습니다:

• 처리량(Throughput): 257 → 490 tok/s
• 첫 토큰 시간(TTFT): 1.9s → 539ms (p95 기준 4.2s → 1.9s)
• 비용 및 에너지 효율: 1M 출력 토큰당 $3.23 → $1.69, 토큰당 2.39 → 1.00 J

특히 에이전트 부하 증가 시 발생하는 KV 캐시 압박(KV pressure) 문제를 자동으로 감지하고, fp8 KV cache 적용 및 컨텍스트 길이 조정을 제안하여 성능을 즉각적으로 복구하는 기능을 제공합니다.

현재 vLLM을 지원하며, 향후 멀티 GPU 및 Tensor Parallelism(TP) 지원이 추가될 예정입니다.