MMLU 점수의 비교 가능성을 검증하는 APL… 적용 가능한 bridge 없으면 'incomparable'

동일한 모델 계열의 MMLU 점수라도 데이터셋 스플릿, 프롬프트 형식 등 평가 조건이 다르면 점수만으로 직접 비교할 수 없다. APL의 AI-Eval 프로파일은 평가 프레임을 해시된 content-addressed object로 정의하고, 각 주장을 선언된 절차와 범위에 결합한다. 서로 다른 프레임을 비교할 때 적용 가능한 bridge가 없으면 검증기는 'incomparable'을 반환한다.

구현 도구인 apl-ai-eval (Rust crate v0.3.1)은 기록의 형식과 프레임 결합, 비교 관계의 평가 가능성을 검증한다. 원문의 예시에서는 grader와 scope 등이 다른 두 점수의 비교가 거부된다. 반면 exact-match grader와 scope가 같고 runner만 다른 별도 예시는 해당 조건을 연결하는 bridge를 통해 비교가 허용된다. 다만, 이 프레임워크는 점수의 정확성이나 실제 실행이 선언된 절차를 따랐는지를 보장하지 않는다. 또한, ISO/IEC 17025 표준이 관련 상황에서 요구하는 측정 불확실성 보고를 위한 필드는 AI-Eval v0.1 사양에 포함되어 있지 않다.