Utilyze - GPU가 실제로 유용한 작업을 얼마나 효율적으로 수행하는지 측정하는 도구
GPU의 실제 유효 활용률과 상한선을 실시간으로 측정하는 도구가 공개됐다.
nvidia-smi나 nvtop은 GPU에서 커널이 돌고 있는지만 보여줘서, 실제 하드웨어를 충분히 쓰지 못해도 100% 활용률처럼 보일 수 있다.
Utilyze는 GPU performance counter를 직접 읽어, 단순 점유가 아니라 실질적인 자원 사용량을 라이브로 표시한다. 오버헤드는 무시할 수 있는 수준으로 제시된다.
핵심 기능은 Attainable SOL 상한선 계산이다. 워크로드, 모델, 하드웨어 조합에서 현실적으로 도달 가능한 최대 활용률을 추정해, 현재 설정이 얼마나 더 밀어붙일 수 있는지 판단하게 해준다.
또한 실행 중인 추론 서버를 자동 탐지하고, 각 GPU에 어떤 모델이 올라가 있는지도 감지한다. 현재는 vLLM만 지원하며, SGLang 등은 추후 추가될 예정이다.
지원 하드웨어는 NVIDIA Ampere 이상이다. 예시로는 **A100, H100, H200, B200, RTX 3000+**가 언급되며, 현재는 H100-80G와 A100-80G에서 노드 내 최대 8 GPU 구성의 일부 모델을 지원한다.
운영 방식은 Linux에서 프로파일링 서버를 띄우고, macOS/Windows에서는 WebSocket 원격 클라이언트로 접속하는 구조다. 단일 디바이스 ID는 한 인스턴스만 모니터링할 수 있고, sudo 없이 쓰려면 NVreg_RestrictProfilingToAdminUsers=0 설정 후 재부팅이 필요하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
