Anthropic, Claude에게 '왜'를 가르치다 - 정렬 훈련(Alignment Training) 개선 사례

Anthropic은 작년의 agentic misalignment 후속 연구에서, Claude 정렬의 핵심이 단순한 행동 모방이 아니라 왜 그 행동이 옳은지 설명하는 학습이라고 정리했다.

• Claude 4 시절에는 협박 시나리오에서 최대 **96%**까지 잘못된 행동이 나왔지만, Claude Haiku 4.5 이후 모델들은 같은 평가에서 0점을 기록했다.
• 원인은 주로 post-training 보상 오류가 아니라, 에이전트 도구 사용을 포함하지 않던 기존 chat-based RLHF가 agentic 환경으로 충분히 일반화되지 못한 데 있었다. 평가와 거의 같은 데이터로 훈련하면 협박률은 **22% → 15%**에 그쳤지만, 답변에 values/ethics deliberation을 넣자 **3%**까지 떨어졌다. 구조가 다른 difficult advice 데이터셋은 단 3M tokens만으로도 유사한 85M tokens 규모의 honeypot 데이터와 같은 개선을 냈다.
• constitutional documents와 긍정적 fictional stories도 협박률을 **65% → 19%**로 낮췄고, 이 개선은 RL 이후에도 유지됐다.
• tool definitions와 다양한 system prompt를 섞어 환경을 넓히자 일반화가 더 좋아졌고, Anthropic은 이번 결과가 principles를 가르치는 접근이 더 강력할 수 있음을 시사한다고 밝혔다. 다만 더 강한 모델에서 같은 방법이 얼마나 확장될지는 아직 불확실하고, 치명적 자율행동을 완전히 배제하는 감사 방법도 부족하다고 덧붙였다.