Claude를 위한 안전장치 구축

Anthropic은 Claude가 인류의 잠재력을 높이는 방향으로 활용되도록 오남용을 방지하고 실질적인 피해를 막기 위한 Safeguards(안전장치) 구축에 집중하고 있다. 정책, 제품, 데이터 과학, 위협 인텔리전스, 엔지니어링 전문가로 구성된 Safeguards 팀은 모델의 전체 생애주기에 걸쳐 방어 체계를 구축한다.

주요 전략은 다음과 같다:

• 정책 개발(Policy development): Usage Policy를 설계하고, Unified Harm Framework를 통해 물리적, 심리적, 경제적, 사회적, 개인의 자율성이라는 5가지 차원에서 잠재적 위해를 분석한다. 또한 외부 전문가와 협력하는 Policy Vulnerability Testing을 통해 정책의 취약점을 점검한다.
• 모델 학습(Claude’s training): 미세 조정(Fine-tuning) 팀과 협력하여 Claude가 부적절한 행동을 하지 않도록 학습 단계부터 개입한다. 문제 발생 시 **보상 모델(Reward models)**을 업데이트하거나 배포된 모델의 **시스템 프롬프트(System prompts)**를 조정하는 방식을 사용한다.

또한, 선거 정보의 정확성을 높이기 위해 Institute for Strategic Dialogue와 협력하여 권위 있는 정보 출처를 안내하는 배너를 도입하는 등 도메인 전문가들과 함께 민감한 영역에 대한 이해도를 높이고 있다.