Hugging Face MIC, 20만 GPU 테스트가 놓친 UMT5 버그 포착

Hugging Face가 Transformers의 회귀 오류를 main 브랜치에 도달하기 전에 감지하기 위해 Model Integration Contracts(MIC)를 제안함. 기존 88,000개 이상의 CPU 및 200,000개 이상의 GPU 테스트 스위트가 놓친 공백을 해결하는 것이 목적임.
미래 토큰에 대한 어텐션을 허용하는 UMT5 디코더 버그가 두 달간 미검출 상태로 지속되었으나, MIC는 1,227 MB의 소스 대비 66 MB인 픽스처를 활용해 이를 포착함. 로그 확률(log-probability) 차이 1.22와 학습 손실(training loss) 변동 0.20을 통해 문제를 식별함.
MIC는 축소된 모델 픽스처, 사용 경로, 그리고 인간이 검토한 베이스라인으로 구성됨. 완전한 GPU 통합 테스트 없이 저렴한 CPU 러너에서 출력이 예상 결과와 일치하는지 검증함.
축소 과정에서는 레이어 유형과 전처리(preprocessing)를 유지하면서 매개변수를 줄임(예: Llama 4 Scout는 108.6B에서 44.7M 매개변수로 축소). 계약 생성을 돕는 LLM 기반 CLI 도구도 제공됨.

핵심 내용