AI 리더들, 사이버보안 투명성 위한 SAFE 가이드라인 제안

Open Secure AI Alliance가 120개 이상 조직의 참여를 바탕으로 에이전틱 AI 보안을 강화하기 위한 Shared AI Findings Exchange(SAFE) 가이드라인을 개발하고 있다. Linux Foundation은 연례 Black Hat 개최에 맞춰 SAFE 초안에 대한 의견 수렴을 시작했다.

SAFE는 AI 보안 사고와 아차 사고를 기밀로 수집·분석하고, 영향을 받은 조직에 알리며, 반복되는 통제 실패를 찾아 근거 기반 운영 권고안으로 공개하는 체계를 제안한다. 이를 통해 개별 사고에서 얻은 교훈을 전체 AI 생태계의 공동 방어 역량으로 전환한다.

NVIDIA, Cisco, CrowdStrike, Hugging Face, Red Hat 등은 Linux Foundation과 함께 초기 제안서 작성에 참여하고 있다. 이 연합은 에이전트를 단순한 모델이 아니라 ID 제어, 하니스, 가드레일, 로그, 평가 시스템으로 구성된 시스템으로 보고 전체 보안 스택을 다루고 있다.

NVIDIA가 공개한 주요 보안 도구와 모델은 다음과 같다.

• NOOA: 에이전트 동작을 테스트·추적·감사·관리하는 연구용 하니스
• NVIDIA OpenShell: 에이전트가 접근하거나 실행할 수 있는 범위를 제한하는 런타임
• NVIDIA Nemotron, Cosmos, Isaac GR00T, BioNeMo, Alpamayo: 에이전틱 AI, 물리적 AI, 로보틱스, 헬스케어, 자율주행을 위한 오픈 모델 제품군
• Verified Agent Skills: 프롬프트 인젝션과 도구 오염 위험을 검사하고 암호화 서명과 문서화를 제공하는 에이전트 기능 관리 체계
• NeMo Guardrails, NeMo Anonymizer, NeMo Safe Synthesizer: 안전 정책 적용, 민감 데이터 보호, 개인정보 보호형 합성 데이터 생성 도구
• Garak: 데이터 유출, 프롬프트 인젝션, 탈옥 시나리오를 점검하는 오픈소스 LLM 취약점 스캐너