Chain-of-thought 모니터링 가능성 평가

AI 시스템이 복잡한 결정을 내릴 때, 최종 출력물만으로는 그 과정을 완전히 파악하기 어렵다. 따라서 모델의 내부 추론 과정인 **Chain-of-thought(CoT)**를 모니터링하는 것이 기만이나 보상 해킹 같은 오작동을 감지하는 데 훨씬 효과적이다.

본 연구는 CoT의 **모니터링 가능성(Monitorability)**을 체계적으로 측정하기 위한 프레임워크와 13가지 평가 도구(24개 환경)를 도입했다. 평가 방식은 개입(intervention), 과정(process), 결과 속성(outcome-property)의 세 가지 유형으로 구성된다.

연구 결과, 대부분의 최첨단 추론 모델은 상당히 높은 수준의 모니터링 가능성을 보였다. 특히 모델이 더 오래 '생각'하고 Chain-of-thought가 길어질수록 모니터링 성능이 향상되는 경향을 보였다. 또한, 현재 수준의 강화 학습(RL) 최적화는 모니터링 가능성을 유의미하게 저하시키지 않는 것으로 나타났다.

한편, 추론 노력과 모델 크기 사이의 트레이드오프도 관찰되었다. 낮은 추론 노력으로 작동하는 대형 모델보다, 높은 추론 노력을 사용하는 소형 모델이 모니터링하기 더 쉬울 수 있다. 다만 이는 추론 비용이 증가하는 **'모니터링 세금(monitorability tax)'**을 수반한다.