AI 보안, 엔지니어링 문제로 접근해야... 에이전트 스택 전 계층 통제와 검증 강조

AI 보안은 단순한 정책이 아니라 정의된 요구사항, 강제 가능한 통제, 명확한 책임자, 그리고 보호 조치의 유효성을 입증하는 증거를 갖춘 엔지니어링 문제다. AI의 추론 및 도구 사용 능력이 향상됨에 따라, 기존 보안 원칙을 새로운 운영 조건에 맞게 적용해야 한다.

보안은 모델, harness, runtime 환경으로 구성된 전체 Agent Stack에 걸쳐 필요하다. Agent의 잘못된 판단에도 보안 경계가 유지되려면, Agent의 추론과 독립적으로 파일, 네트워크, 프로세스 접근을 환경 차원에서 제한해야 한다. 각 Agent는 추적 가능한 신원과 작업 범위로 제한된 자격 증명을 가져야 하며, 중요한 작업이나 권한 변경 시 인간 승인이 필요하다.

검증과 도구 활용

도구, 스킬, 의존성의 출처와 무결성을 검증하고, 도구 호출 및 권한 결정에 대한 보호된 로그를 남겨 사고 재구성과 격리 절차의 근거로 삼아야 한다. NVIDIA OpenShell은 Agent의 접근 범위를 벗어나 정책을 강제하는 오픈소스 보안 런타임으로, 데이터 및 시스템 리소스 접근을 관리한다. 또한 Cisco DefenseClaw와 JFrog은 거버넌스 계층 추가 및 Agent 스킬 스캔을 통해 접근 정책을 강제한다.

배포 전에는 Agent 범위를 초과하는 자격 증명 획득이나 미인가 데이터 전송 시도를 차단하는 통제의 유효성을 입증해야 한다. CrowdStrike SafeMind는 반복적 공격 시뮬레이션을, Palo Alto Networks Prisma AIRS는 모델 및 앱 변경 시 지속적 레드 티밍을 수행하여 방어력을 강화한다. 폐쇄형 모델은 관리형 서비스를, 오픈 모델은 구성 요소 검사와 자체 인프라 운영을 가능하게 하여 방어에 상호 보완적 역할을 한다.