#gpu-scheduling
#gpu-scheduling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gpu-scheduling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Kubernetes 1.34에서 DRA가 GA로 전환되어 GPU를 속성 기반으로 유연하게 요청할 수 있게 됐다.
우선순위 대신 GPU 시간 예산과 공정 분배 도입으로 클러스터 점유율 98% 유지하며 대기 시간 대폭 개선
AI21이 Kueue 도입으로 주당 20회 수동 개입을 없애고 히어로 잡 기아 시간을 72시간에서 12시간으로 줄였다.
LLM 서비스의 트래픽 변동으로 발생하는 유휴 GPU 자원을 모델 학습 및 연구에 재할당하여 인프라 효율을 극대화하는 기술을 소개한다.
LLM 서비스의 트래픽 변동으로 발생하는 유휴 GPU 자원을 연구 및 학습용으로 재할당하는 효율적인 스케줄링 파이프라인을 구축했다.
LG AI연구원이 vLLM 지표를 활용해 유휴 GPU를 연구 작업에 재활용하며 인프라 효율을 극대화했다.