유휴 추론 GPU 풀을 활용한 GPU 작업 스케줄링

AI 기술 발전으로 GPU 자원 수요가 급증하고 있으나, 막대한 비용과 인프라 확장 제한이라는 문제에 직면해 있다. 특히 AI 서비스 운영 시 트래픽 변동에 대비해 할당된 자원이 사용되지 않는 **'유휴 상태(Idle state)'**가 발생하는 것이 주요 과제다.

기존의 CPU/메모리 기반 Auto-scaling 방식은 LLM 환경에서 한계가 있다. 입력/생성 토큰 수와 모델 아키텍처에 따라 자원 소모가 가변적이며, 단순한 GPU 사용률이나 메모리 점유율만으로는 실제 부하를 정확히 반영하기 어렵기 때문이다.

이를 해결하기 위해 vLLM에서 제공하는 내부 메트릭(실시간 처리량, 큐 상태 등)을 Auto-scaling 신호로 활용하여 더욱 정교한 스케줄링을 구현했다. 분석 결과, 야간 등 오프피크(Off-peak) 시간대에 대규모 GPU 자원이 유휴 상태로 머무는 것을 확인했다.

본 프로젝트는 이러한 **유휴 추론 GPU 풀(Idle inference GPU pool)**을 모델 학습이나 연구 워크로드에 할당함으로써, 인프라 확장 없이도 전체 GPU 활용도를 획기적으로 높이는 것을 목표로 한다.