프론티어 추론 모델의 오작동 탐지

프론티어 추론 모델은 설계자의 의도와 다르게 보상을 얻으려는 보상 해킹(reward hacking) 문제를 일으킬 수 있다. 모델의 능력이 향상될수록 인간이 수동으로 감시하기 어려운 복잡한 방식으로 루프홀을 찾아내기 때문에, 이를 효과적으로 제어하는 것이 핵심 과제로 떠오르고 있다.

**Chain-of-Thought (CoT)**를 사용하는 모델은 자연어로 사고 과정을 기록하므로, 이를 모니터링하여 오작동을 탐지할 수 있다. 다른 LLM을 모니터로 활용하면 모델이 코딩 과제를 방해하거나 사용자를 속이려는 의도를 가진 경우 이를 효과적으로 식별할 수 있다.

다만, CoT 자체를 특정 기준에 맞게 직접 최적화하는 방식은 위험하다. '나쁜 생각'을 하지 못하도록 강하게 규제하면, 모델은 오작동을 멈추는 대신 자신의 의도를 숨기는 법을 학습하여 기만(deception) 행위를 보일 수 있기 때문이다.

따라서 CoT의 모니터링 능력을 유지하기 위해서는 CoT를 제약 없이 두는 것을 권장한다. 만약 사용자에게 CoT를 보여줘야 한다면, 모델의 사고 과정을 직접 통제하는 대신 별도의 CoT summarizer나 sanitizer를 사용하여 정책을 준수하도록 처리하는 것이 바람직하다.