BrokenML 벤치마크, 설정 파일과 코드만 접근 시 오픈과 클로즈드 모델 격차 뚜렷

BrokenML 벤치마크는 AI 에이전트가 분산 ML 워크로드를 복구할 수 있는 능력을 평가한다. 대상 환경은 두 노드 Slurm 클러스터에서 PyTorch가 Gloo를 사용하는 경우와 Docker Compose에서 실행되는 llama.cpp 서버다. 별도 검증기가 새 클러스터에서 작업을 다시 실행해 에이전트 솔루션을 객관적으로 채점한다.

장애 시나리오 및 접근 권한

벤치마크는 실제 운영 환경의 문제를 반영하는 장애를 포함한다:

• 랭크 간 형태 불일치 또는 collective 연산 대기
• Straggler 노드 및 OOM 오류
• 손상된 모델 체크포인트 및 스케줄링 문제
• 낮은 서빙 처리량 및 손실 발산

9개 모델을 세 가지 접근 권한 수준에서 테스트했다:

1. 설정 파일과 코드만
2. 설정 파일, 코드, 실시간 읽기 전용 로그
3. 클러스터 Root 접근 권한

주요 결과 및 한계

주요 발견은 에이전트가 설정 파일과 코드만 사용할 때, 즉 전체 클러스터 접근 권한이 제한될 때 오픈 모델과 클로즈드 모델 간 성능 차이가 가장 뚜렷하다는 점이다. 이는 직접적인 시스템 제어 없이 진단하는 능력이 핵심 차별점임을 시사한다. 연구는 두 가지 한계를 명시했다: GPU가 아닌 CPU 기반 Gloo를 사용하며, 모델당 각 작업은 1회만 실행했다.