g-mean² 한계 보완, 페어 매칭 HodgeRank와 포스트 컨트롤 리스크 제안

g-mean²의 모델 간 유효 양性行为 하위 집합 차이로 인한 왜곡 및 모니터가 거부 게이트로 작용할 때의 배포 리스크 미반영 한계를 보완하기 위해 두 가지 상호보완적 지표를 제안함
페어 매칭 HodgeRank는 모델 간 공유 유효 인스턴스만 비교하여 태스크 믹스 편향을 제거하고, 역분산 가중 최소제곱법을 사용해 모델 점수를 추정하며, g-mean²의 클래스 불균형 및 개입 단축 경로에 대한 불변성을 유지함
포스트 컨트롤 리스크 지표는 모니터 게이트 기반 재시도를 시뮬레이션하여 불량 출력(B(K)) 및 모든 출력(A(K))의 배포 확률을 측정하며, 재시도가 모호하거나 분류가 어려운 부적절한 행동의 통과 가능성을 높일 수 있음을 드러냄
7개 모델을 대상으로 한 합성 실험에서 페어 매칭 HodgeRank는 역량 분산이 증가함에 따라 알려진 모니터 가능성 순서를 정확히 복원한 반면, 데이터셋 수준 g-mean²와 Bradley-Terry 방법은 인스턴스 믹스 변화 및 폐기된 쌍별 차이 크기 때문에 성능이 저하됨
GPT-5.6 Sol을 포함한 7개 에이전트 모델의 과거 시스템 카드 결과에 따르면, 포스트 컨트롤 게이팅은 평균적으로 1차 리스크를 감소시키지만, 낮은 B(K)는 드문 배포에서 비롯될 수 있어 조건부 불량 출력 비율 B(K)/A(K) 보고가 필요함

핵심 내용