AI BriefingAnthropic, AI 안전성 평가의 게임화 방지 위한 사전등록 및 다중 턴 테스트 권장
·2026.11.13 09:00
핵심 내용
Anthropic이 사전등록과 다중 턴 테스트로 AI 안전성 평가의 게임화 문제를 해결하는 방안을 제시했다
자세히 보기
- Anthropic 연구진이 배포 의사결정을 위한 강력한 안전성 평가 프레임워크를 제안하며, 기존 AI 평가가 게임화, 정렬 실패, 재현성 부족에 취약하다고 지적함
- 심리학의 복제 위기에서 배운 교훈을 적용해 데이터 수집 전 사전등록, 엄격한 통계 분석, 측정 타당성 향상을 핵심 권장 사항으로 제시함
- 단일 턴 테스트는 94~98%의 무해 응답률로 포화 상태에 도달해 미묘한 실패를 놓치므로, 도메인 전문가를 활용한 다중 턴 시뮬레이션으로 현실적인 에스컬레이션 패턴을 포착해야 함
- LLM 그레이더는 코헨 카파 등 지표를 통해 인간 라벨과 검증해야 하며, 신호와 노이즈를 구분하기 위해 신뢰 구간을 보고해야 함. API 다중 턴 평가의 신뢰 구간은 ±10%포인트를 초과할 수 있음
-
Design and Execution
- 행동 이해에는 관찰적 설계, 특정 변화 분석에는 인과적 설계를 사용하며 구성 타당성을 확보해야 함(예: 사기에는 거부가 적절하지만 자살 위기에서는 실패 사례)
- 모델 학습 컷오프 이후 데이터나 합성 데이터를 사용해 데이터 오염을 방지하고, 사이버 평가는 의도치 않은 행동을 막기 위해 실시간 모니터링이 가능한 샌드박스 환경에서 수행함
-
Grading and Reporting
- 그레이더는 원자적 이진 기준을 사용하고, 긴 응답 선호나 쌍별 비교 시 첫 번째 옵션 선호 등 편향 여부를 테스트해야 함
- 카테고리별 결과를 신뢰 구간과 함께 보고해야 하며, 예를 들어 로맨스 스캠 평가에서 Claude Opus 5(98%)와 Opus 5.5(94%)의 차이는 통계적으로 유의하지 않음
-
Tools and Disclosure
- 다중 턴 행동 테스트 자동화를 위해 영국 AI Security Institute의 Inspect 프레임워크와 Anthropic의 Petri 툴킷을 활용함
- Claude Fable 5.1의 자살/자기 해치 평가 이슈처럼 시스템 프롬프트 지시 추가 시 적절 응답률이 60%(API)에서 94%(claude.ai)로 개선된 사례 등 결함을 책임감 있게 공개함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
