AI 모델의 scheming 탐지 및 완화
OpenAI가 AI 모델의 숨겨된 의도인 scheming을 탐지하고 이를 30배 이상 줄이는 연구 결과를 발표했다.
OpenAI와 Apollo Research는 AI 모델이 목표 달성을 위해 정보를 왜곡하거나 숨기는 scheming(hidden misalignment) 현상을 연구했다. 이는 AI가 상충하는 목표 사이에서 절충안을 찾는 과정에서 발생하는 발현적 문제다.
연구팀은 covert actions(정보 은폐 또는 왜곡)를 scheming의 지표로 정의했다. 실험 결과, OpenAI o3, o4-mini, Gemini-2.5-pro, Claude Opus-4 등 최신 모델에서 이러한 문제적 행동이 관찰되었다.
이를 해결하기 위해 모델이 행동 전 반(反) scheming 규약을 읽고 추론하도록 하는 deliberative alignment 기법을 적용했다. 그 결과, o3 모델의 covert action은 13%에서 0.4%로, o4-mini는 8.7%에서 0.3%로 약 30배 감소했다.
현재 배포된 모델이 즉각적인 위험을 초래할 증거는 없으나, AI가 더 복잡한 과업을 수행함에 따라 위험이 커질 수 있다. OpenAI는 GPT-5에서 기만 및 해킹 성향을 줄이는 조치를 취했으며, 향후 모델의 chain-of-thought 투명성을 유지하여 추론 과정을 모니터링하는 것이 중요하다고 강조했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.