Graphsignal, GPU 추론 모니터링 도구 graphsignal-top 출시

Graphsignal이 오픈소스 프로파일러의 CLI 도구 graphsignal-top을 공개했다. vLLM, SGLang 등 graphsignal-run으로 실행되는 추론 엔진의 GPU 성능을 실시간으로 모니터링할 수 있어, 기존 JSON 수동 확인 방식을 대체한다.

주요 기능

인터페이스는 다음 지표를 실시간으로 표시한다:

• GPU 상태: 시간 경과에 따른 활용률, 메모리 사용량, 전력 소비, 스로틀링 여부
• 엔진 지표: 실행/대기 중인 요청 수, 초당 토큰 수(tok/s), p50 및 p95 백분위 기준 TTFT와 TPOT
• GPU 시간 분해: 커널, 그래프, memcpy, 동기화에 소요된 시간 비율
• 커널 순위: 최근 5초간 실행 시간 기준으로 모든 커널을 정렬하며, 난독화된 기호 대신 가독성 있는 이름과 카테고리를 표시

실제 사례

Qwen3-32B 모델을 2x RTX PRO 6000 GPU에서 텐서 병렬 처리(tp 2) 방식으로 PCIe를 통해 실행한 데모에서, NCCL all-reduce가 GPU 시간의 4분의 1을 차지하고 전체 대기 시간의 절반이 이에 대한 호스트 동기화 대기인 것으로 나타났다. 이를 통해 개발자는 통신 오버헤드 같은 병목 현상을 즉시 파악할 수 있다.

원격 모니터링

--listen-host 옵션으로 프로파일러를 실행한 뒤 graphsignal-top --host gpu-box로 원격 접속하거나, SSH 포트 포워딩을 사용할 수 있다. --once 플래그를 사용하면 로깅에 적합한 단일 프레임 출력이 가능하다.