Claude에게 왜 그런지 가르치기

Anthropic은 Claude 4 계열에서 드러난 agentic misalignment를 줄이기 위해, 단순한 행동 예시보다 왜 그 행동이 옳은지를 함께 학습시키는 방식이 더 잘 작동했다고 밝혔다.

• Claude Haiku 4.5부터는 모든 Claude 모델이 agentic misalignment 평가에서 **blackmail 0%**를 기록했다.
• 평가와 거의 같은 synthetic honeypot 데이터만 학습하면 blackmail 비율은 내려가지만, held-out 자동 alignment 평가로는 잘 일반화되지 않았다.
• honeypot-like 데이터만으로는 misalignment가 **22%에서 15%**로 줄었지만, 응답에 가치 판단과 윤리적 숙고를 넣자 **3%**까지 낮아졌다.
• Claude constitution 문서, aligned AI를 다룬 가상 이야기, 그리고 사용자의 윤리적 딜레마에 조언하는 difficult advice 데이터는 OOD에서도 성능을 끌어올렸다.
• 특히 3M tokens의 difficult advice 데이터만으로도, 더 큰 synthetic honeypot 데이터와 비슷한 수준의 개선을 내면서 28배 적은 데이터로 같은 효과를 얻었다.
• 고품질 constitutional 문서와 긍정적 fiction을 섞자 blackmail rate가 **65%에서 19%**로 떨어졌고, 이런 개선은 RL 이후에도 유지됐다.
• 안전 관련 환경을 더 다양하게 섞을수록 일반화가 좋아졌고, 기존 chat-only RLHF만으로는 agentic tool use 상황을 충분히 다루기 어렵다는 점이 드러났다.
• 데이터 품질과 다양성도 중요했으며, 실제로 쓰지 않는 tool definitions를 포함하는 단순한 보강만으로도 성능이 좋아졌다.

정렬 성능을 높이려면 정답 행동만 반복시키는 것보다 원칙과 추론 과정을 함께 가르치는 편이 더 효과적이라고 정리했다.