Nvidia, Anthropic·SpaceXAI와 함께 AI 에이전트 안전 플랫폼 출시

Nvidia가 Open Agent Safety Platform을 출시했다. 이 플랫폼은 AI 에이전트에 엄격한 경계를 설정하기 위한 하드웨어 및 소프트웨어 프레임워크다. 최근 OpenAI 에이전트를 포함해 샌드박스를 탈출한 보안 사고에 대응하기 위해 마련됐으며, Anthropic, Microsoft, Elon Musk의 SpaceXAI 등 100개 이상 기업이 참여한다.

2단계 아키텍처

플랫폼은 두 가지 구성 요소로 나뉜다:

• OpenShell: 에이전트 행동을 추적하고 소유자가 정의한 규칙을 강제하는 무료 오픈소스 소프트웨어다. Nvidia의 Vera 프로세서에 최적화됐지만, Arm과 Intel 칩도 지원하도록 설계됐다.
• Sentry: 다운로드 가능한 제품이 아닌 레퍼런스 디자인으로, Nvidia의 BlueField-4 데이터 처리 장치에서 실행된다. 외부 하드웨어 감시자 역할을 하며 에이전트 신원을 확인하고 권한을 초과하려는 에이전트를 격리한다.

핵심 설계 원칙은 안전 제어 기능을 AI 모델 외부에 배치하는 것이다. 이를 통해 코드나 프롬프트 인젝션으로 소프트웨어 제한을 우회하는 것을 방지한다. 최근 DNS 조회나 네트워크 침해를 통해 샌드박스를 탈출한 사고들이 이러한 취약점을 악용했다.

산업 채택 및 공백

주요 AI 제공업체들은 플랫폼을 워크플로에 통합하고 있다:

• SpaceXAI(Grok과 Cursor 소유)는 챗봇과 코딩 도구 모두에 플랫폼을 사용 중이다. Mike Nicolls 사장은 에이전트가 우회할 수 없는 제어 장치를 통해 제한을 강제해야 한다고 강조했다.
• Anthropic은 Claude Managed Agents 위에 이 거버넌스를 적용해 의사결정과 작업 실행을 분리한다.
• Salesforce는 Slack에 OpenShell을 통합해 사용자가 채팅에서 에이전트 접근 요청을 승인하거나 거부할 수 있게 했다.
• 기타 파트너로는 SAP, Scale AI, 로봇 기업 Figure, Gecko Robotics, Skild AI가 있다.

특히 OpenAI, Google, Amazon, Meta는 참여 목록에 없다. OpenAI의 에이전트가 이번 산업적 대응을 촉발한 최근 보안 사고의 중심에 있었음에도 불구하고 참여하지 않았다. 이 플랫폼은 보안 취약점 데이터 공유에 중점을 둔 Linux Foundation 지원 그룹인 Open Secure AI Alliance와도 연계된다.