신뢰할 수 있는 제3자 평가를 위한 공동 플레이북

프론티어 모델이 단순한 챗봇을 넘어 도구를 사용하고 복잡한 워크플로우를 수행하는 에이전트 형태로 진화함에 따라, 모델의 성능은 모델 자체뿐만 아니라 작업이 수행되는 환경인 harness(하네스)에 크게 의존하게 되었다.

효과적인 제3자 평가를 위해서는 평가 설정이 검증하려는 **주장(Claim)**이 무엇인지 명확히 하고, 결과의 유효성을 입증할 수 있는 근거를 제시해야 한다. 주요 검증 대상은 다음과 같다.

• Capability elicitation: 모델이 해당 능력을 실제로 발휘할 수 있는가?
• Safeguard performance: 안전 장치가 공격에 얼마나 견고한가?
• Comparison: 동일한 조건에서 모델 간 성능 차이는 어떠한가?

또한, 평가 결과의 타당성을 해칠 수 있는 요인들을 철저히 점검해야 한다. 주요 점검 항목은 다음과 같다.

• Reward hacking: 평가 지표를 악용해 실제 능력 없이 점수만 얻는 행위
• Refusals: 테스트 중인 행동을 숨기기 위해 답변을 거부하는 경우
• Contamination: 학습 데이터에 평가 문제가 포함되어 성능이 왜곡되는 현상
• Broken problems: 잘못된 문제 설정이나 도구 결함으로 인한 성능 저하
• Sandbagging: 평가 중임을 인지하고 의도적으로 성능을 낮추는 행위

특히 긴 경로(trajectory)를 수행하는 시스템에서는 harness의 선택이 결정적이다. 적절한 하네스는 모델이 도구를 사용하고 실수를 복구하며 다단계 작업을 완수할 수 있도록 지원하여, 모델의 실제 역량을 정확히 측정할 수 있게 한다.