LG AI 연구원의 AI 윤리 세미나: Agentic AI의 등장과 보안 위협

LLM 기반 생성형 AI가 단순한 대화 상대를 넘어 스스로 목표를 설정하고 도구를 사용하는 Agentic AI로 진화함에 따라, 보안의 패러다임이 콘텐츠 안전성에서 행동의 안전성과 목적의 무결성으로 전환되고 있다.

**에이전시-보안 역설(Agency–Security Paradox)**에 따르면, AI의 자율성이 높아질수록 시스템 제어 권한이 부여되어 실제적인 보안 사고로 이어질 위험이 커진다. 이는 AI가 단순한 오답을 내놓는 수준을 넘어 계정 변경이나 파일 삭제와 같은 실질적 피해를 입힐 수 있음을 의미한다.

Agentic AI의 위협은 인지, 기억, 추론, 행동의 순환 루프 단계별로 발생한다.

• 인지(Perception): 신원 스푸핑 및 악성 에이전트의 데이터 주입(IPI)
• 기억(Memory): RAG/Vector DB를 겨냥한 메모리 오염(Memory Poisoning)
• 추론(Reasoning): 의도 파괴, 목표 표류 및 인간 감독(HITL) 우회
• 행동(Action): 도구 오용(Tool Misuse) 및 권한 침해, 코드 실행(RCE) 위험