Hugging Face, Transformers MIC 표준안 공개

Hugging Face가 Transformers 모델이 특정 프레임워크에서 버그 없이 동작하는지 CI가 확인하는 검사 묶음인 MIC 표준안을 제안함
축소 모델(fixture)을 CPU에서 실행해 PR 단계 회귀를 탐지하며, 5개월 재생 실험에서 실제 회귀 5건 중 1건을 탐지하고 4건은 놓침
놓친 4건의 API 호출을 계약에 추가해 재실행 시 5건 모두 탐지했으나, 이는 미지 버그 탐지율 증거가 아님
축소 모델은 원본 대비 10~1,300배 작은 가중치를 사용하며, Transformers 모델 타입 786개 중 383개(66%)가 축소 및 빌드 과정을 통과함
현재 Transformers CI에서 MIC 작업은 실패만 보고하고 PR을 차단하지 않으며, 실제 PR 버그 탐지율과 오탐 빈도 측정이 완료되면 차단 전환을 검토함
도구 및 실험 기록은 Apache 2.0 라이선스의 transformers-mic 저장소에 공개되어 있으며, tmic CLI를 통해 계약 생성 및 fixture 빌드가 가능함

핵심 내용