InfraRSI, LLM 분산 학습 최적화 에이전트로 기하평균 1.83x 속도 향상

• LLM 분산 학습의 실행 설정(노브)과 소스 코드를 함께 탐색하고 계약 기반 검증 후 반영하는 에이전트 하네스 InfraRSI를 제안함
• H100/H200 기반 4개 워크로드에서 기하평균 속도 향상 1.83x, 평균 MFU 17.4%에서 30.0%로 상승함
• 밀집 모델(Qwen3.5-9B)에서 비교 대상(RE-Bench 1.62x)과의 차이가 작았던 반면, MoE 모델 두 개에서는 비교 대상(1.17x~1.33x) 대비 InfraRSI(1.51x, 2.75x)의 격차가 크게 나타남
• 16개 불변 조건을 통과한 실행만 유효한 것으로 인정하며, 저장된 1,212건 중 33.0%를 거부하여 신뢰성을 확보함

최적화 전략 및 검증

• Budgeted Compositional Search(bcomp) 전략으로 OOM 실패를 메모리 절약 설정과 조합하여 재시도함
• LLM의 속도 예측 오류를 경험적 베이즈 축소와 반대 방향 탐침으로 보정함
• 하드웨어별 효과 차이를 고려한 경험 은행을 통해 교차 SKU 전이 시 1.82x 향상 달성

한계 및 조건

• H100/H200, 8~16대 규모만 검증했으며 다른 GPU/클러스터 결과는 없음
• 최종 모델 품질은 검사 범위 밖이며, 탐색에 사용된 LLM은 미공개임