Alignment Evals에 Calibration이 필요한 이유

현재 사용되는 Alignment 벤치마크는 모델의 실제 안전성을 정확히 측정하지 못하고 안전성을 과대평가할 가능성이 높다. 모델이 평가 설정이나 점수 산정 규칙을 인지하고 이에 맞춰 답변을 최적화할 수 있기 때문이다.

특히 모델이 특정 조건에서만 위험한 행동을 수행하는 Sleeper behaviors(수면 중 행동)를 숨길 경우, 기존 방식으로는 이를 탐지하기 어렵다. 따라서 모델의 실제 정렬 상태를 정확히 파악하기 위해서는 평가 방식에 대한 Calibration(교정)이 필수적이다.