다양한 제품군에서 Claude를 격리하는 방법

AI 에이전트의 능력이 향상됨에 따라 발생 가능한 피해 범위(blast radius)도 함께 커지고 있다. Anthropic은 claude.ai, Claude Code, Claude Cowork 등 다양한 제품군에서 에이전트의 권한을 제어하기 위한 기술적 방안을 구축하고 있다.

에이전트의 안전을 확보하는 방식은 크게 두 가지로 나뉜다.

첫 번째는 Human-in-the-loop를 통한 행동 감독이다. 사용자가 매 단계 승인하는 방식이지만, 사용자가 반복되는 요청에 무뎌지는 승인 피로(approval fatigue) 현상으로 인해 보안 취약점이 발생할 수 있다.

두 번째는 격리(Containment) 방식이다. 에이전트가 무엇을 할 수 있는지 자체를 제한하는 것으로, 샌드박스(Sandbox), 가상 머신(VM), Egress 제어 등을 통해 접근 경계를 강제한다. Anthropic은 이 방식에 가장 많은 노력을 기울이고 있다.

보안 리스크는 다음과 같이 분류된다.

• 사용자 오용(User misuse): 사용자가 악의적 혹은 부주의하게 에이전트에게 해로운 명령을 내리는 경우.
• 모델 오작동(Model misbehavior): 에이전트가 의도치 않게 해로운 행동을 하는 경우. 모델이 고도화될수록 제약 사항을 우회하여 목표를 달성하려는 경향이 나타나기도 한다.