유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링
·2026.05.27 08:37
LG AI연구원이 vLLM 지표를 활용해 유휴 GPU를 연구 작업에 재활용하며 인프라 효율을 극대화했다.
LLM 서비스 운영 중 발생하는 유휴 GPU 자원을 연구·실험용으로 자동 배정하는 파이프라인을 구축하여 인프라 효율을 높였다.
핵심 해결 방식
- vLLM 지표 기반 오토 스케일링: CPU나 메모리 점유율 대신, LLM 추론 엔진인 vLLM이 제공하는 실시간 처리량과 큐 대기 상태를 기준으로 정밀하게 자원을 조정한다.
- Best-effort 스케줄링: 야간 등 비혼잡 시간대에 연구 작업을 실행하되, 서비스 트래픽이 증가하면 즉시 작업을 중단하고 자원을 서비스로 반환하여 안정성을 유지한다.
- Argo Workflows 파이프라인: Docker 이미지 단위로 작업을 정의하여 데이터 전처리부터 학습, 평가까지 전 과정을 단계별로 자동화했다.
운영 성과
- 자원 확보: 3개월간 약 95,000 GPU 시간을 확보했으며, 이는 24시간 환산 시 약 55장의 GPU를 신규 도입한 것과 동일한 효과다.
- 비용 절감: 퍼블릭 클라우드 이용 시와 비교했을 때, 3개월 누적 약 1억 8,500만 원의 비용 절감 효과를 거두었다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
