Uber CISO, AI 에이전트에 인간과 같은 내부 위협 대응 프로그램 필요

Philip Martin Uber CISO는 AI 에이전트가 인간 직원과 유사한 위험을 초래하므로 동등한 내부 위협 대응 프로그램이 필요하다고 주장한다. Claude Fable과 같은 프런티어 모델이 장기 컨텍스트 처리와 특정 출력 생성 능력을 갖추면서, 의도치 않은 오용이나 예상 제약 밖의 행동 가능성이 커지고 있다. Martin은 AI 도입이 비즈니스 필수 과제이지만, 모델이 더 복잡하고 자율적인 작업을 수행함에 따라 보안 조치도 진화해야 한다고 강조한다.

보안 장치와 모니터링 통합

Uber는 모델 성능과 데이터 통제 사이의 균형을 맞추기 위해 Anthropic의 Enterprise Frontier Safeguards를 사용한다. 이 프레임워크는 Anthropic에 독점 정보 접근 권한을 부여하지 않고도 고객 데이터와 영업 비밀을 보호하며, 보안 장치가 작동할 때 Uber가 위험 완화 조치를 통제할 수 있게 한다. 이 방식은 에이전트 하네스에서 실시간 텔레메트리를 수집해 에이전트가 범위를 벗어나는 행동을 감지하는 Uber의 최근 오픈소스 AI Detection and Response(ADR) 도구를 보완한다.

실시간 탐지와 미래 아키텍처

보안 전략은 실시간 탐지와 개입을 우선시하며, 유해한 결과가 발생하기 전에 사용자에게 경고하거나 행동을 차단하는 것을 목표로 한다. Uber의 ADR 텔레메트리와 Anthropic의 분류기 출력을 결합해 전통적인 사이버 보안 환경과 유사한 종합적인 탐지 환경을 구축한다. Martin은 각 서비스가 특정 에이전트 팀과 연결되어 서로 위협 모델을 공유하는 미래를 구상하며, 이를 통해 보안 효과를 더욱 높일 수 있다고 전망한다.