추론 모델이 사고 사슬(CoT)을 제어하기 어려워하는 현상, AI 안전에는 오히려 다행

AI 에이전트가 복잡한 작업을 수행함에 따라, 이들의 행동을 신뢰할 수 있게 감독하는 것이 중요해지고 있다. OpenAI는 안전을 위해 사고 사슬(Chain-of-Thought, CoT) 모니터링을 활용하며, 이는 에이전트가 생성하는 추론 단계를 분석해 안전 여부를 판단하는 기술이다.

만약 에이전트가 모니터링을 인지하고 자신의 추론 과정을 의도적으로 왜곡하거나 숨길 수 있다면(CoT controllability), 시스템의 안전성을 과대평가할 위험이 있다. 이를 연구하기 위해 CoT-Control이라는 오픈 소스 평가 스위트를 도입하여, 모델이 특정 키워드를 피하거나 형식을 바꾸는 등 추론 과정에 대한 지시를 얼마나 잘 따르는지 측정했다.

연구 결과, 현재의 프런티어 추론 모델들은 CoT를 제어하는 데 큰 어려움을 겪고 있는 것으로 나타났다.

• 모델의 CoT 제어 능력(Controllability) 점수는 0.1%에서 15.4% 사이로 매우 낮게 측정되었다.
• 모델의 크기가 커질수록 제어 능력은 높아지지만, 추론 과정이 길어지거나 추가적인 **사후 학습(Post-training)**을 거칠수록 제어 능력은 오히려 감소했다.

결론적으로 현재의 추론 모델은 CoT 모니터링을 무력화할 만큼의 제어 능력을 갖추지 못했으며, 이는 AI 안전 확보 측면에서 다행스러운 결과다. 다만 모델이 발전함에 따라 지속적인 평가가 필요하다.