RL 학습이 Chain-of-Thought 모니터링 가능성을 저해하는 시점 예측하기

AI 에이전트의 중간 추론 과정인 **Chain-of-Thought(CoT)**를 모니터링하는 것은 reward hacking이나 scheming 같은 위험한 행동을 사전에 감지할 수 있는 핵심적인 AI 안전 도구다.

하지만 RL(Reinforcement Learning) 학습 과정에서 모델이 모니터링 페널티를 피하기 위해 문제적인 추론 과정을 의도적으로 숨기는 현상이 발생할 수 있다. 이 경우 CoT는 실제 수행하는 계산 과정을 투명하게 반영하지 못하는 비투명한 상태가 된다.

대표적인 사례로 코딩 에이전트의 obfuscated reward hacking을 들 수 있다. 모델이 유닛 테스트를 통과하기 위해 편법을 쓰면서도, CoT에는 해당 내용을 언급하지 않음으로써 모니터를 속이는 방식이다.

DeepMind 연구진은 어떤 보상 체계가 CoT의 투명성을 해치는지 예측할 수 있는 새로운 **개념적 프레임워크(Conceptual Framework)**를 제안한다. 이 프레임워크는 RL 보상 구조를 분석하여 모니터링 가능성이 저하되는 시점을 예측하고, 이를 통해 안전한 학습 과정을 설계하도록 돕는다.