Ai2, GPU 스케줄링 정책 변경으로 대기 시간 96% 단축

Allen Institute for AI(Ai2)가 GPU 클러스터 스케줄러를 개편하여 디버그 작업의 p90 대기 시간을 2시간에서 30초로 단축했다고 밝혔다. 기존 우선순위 기반 시스템에서 발생하던 GPU 자리 점유(squatting)와 우선순위 인플레이션 문제를 해결하기 위해, 우선순위 대신 **'GPU 시간 예산'**과 '계층형 공정 분배(Hierarchical Fair-Share)' 정책을 도입했다.

새로운 스케줄링 정책

관리자는 연구 프로그램 및 프로젝트 트리에 따라 GPU 시간 비율을 배분한다. 예를 들어 Program A에 70%, Project A1에 50%를 할당하면 전체의 35%가 배정된다. 이 시스템은 7일 슬라이딩 되돌아보기 창 내에서 점유율을 추적하며, 할당량 대비 미사용 그룹을 우선 배치한다. 또한 작업 제출 시 **최소 실행 시간(최대 8시간)**을 선언해야 하며, 해당 시간 동안 선점으로부터 보호된다.

운영 결과 및 성과

30일간의 실측 운영 결과, 클러스터 점유율은 교체 전후 모두 **98%**로 유지되었으며(수요는 공급의 2~3배), 팀들이 받기로 한 GPU 시간의 98%가 실제로 전달되었다(15개 팀 할당 중 최저 90%). 특히 디버그 작업의 p90 대기 시간이 2시간에서 30초로, 가장 큰 H100 클러스터의 중앙값 대기 시간은 5분에서 24초로 개선되었다. 또한 최소 실행 시간 종료 후 자동 비우기 기능으로 사람이 개입한 호스트 수리 건수가 74% 감소했다.

남은 과제 및 로드맵

대화형 개발 세션의 경우 보호 시간 상한(8시간) 적용으로 기존(최대 1주일)보다 불편함이 증가했다. Ai2는 이를 해결하기 위해 데이터 준비용 CPU 전용 클러스터 배치와 복원 가능한 세션 도입을 로드맵에 포함했다. 또한 큰 작업 배치 시 여러 작업을 동시에 중단할 기회가 줄어들어 발생할 수 있는 용량 단편화(capacity fragmentation) 문제를 시뮬레이터로 재현하고 실제 값을 측정 중이다.