vLLM 진단 도구 vllm-doctor
vllm-doctor — a CLI tool to diagnose and monitor vLLM inference servers
·2026.06.08 18:10
vLLM 서버의 메트릭을 분석하여 큐 압력, TTFT, KV 캐시 상태 등을 진단하는 CLI 도구입니다.
vllm-doctor는 vLLM 서버의 /metrics 엔드포인트 또는 Prometheus 인스턴스에서 메트릭을 읽어와 규칙 기반의 체크를 수행하는 CLI 도구입니다.
주요 기능은 다음과 같습니다:
- 큐 압력(Queue pressure), TTFT/TPOT, KV 캐시 압력 등 주요 지표 감지
- 문제 발생 시 해당 지표, 신뢰 수준, 예상 원인 및 구체적인 권장 사항 제공
- 텍스트 또는 JSON 형식의 출력 지원 및 실시간 모니터링을 위한
--watch모드 제공
현재 오픈 소스로 제공되는 초기 단계의 프로젝트입니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.