프롬프트 인젝션에 대응하는 AI 에이전트 설계 방식

AI 에이전트가 웹 브라우징과 정보 검색, 사용자 대행 작업을 수행함에 따라 새로운 공격 경로가 생겨나고 있다. 특히 외부 콘텐츠에 삽입된 지시 사항으로 모델을 조작하는 Prompt Injection 공격이 주요 위협으로 떠올랐다.

최근의 공격은 단순한 명령 오버라이드를 넘어 Social Engineering(사회 공학) 기법을 활용하는 방향으로 진화하고 있다. 예를 들어, 이메일 본문에 교묘한 지시 사항을 포함하여 에이전트가 민감한 정보를 추출하거나 특정 시스템에 제출하도록 유도하는 방식이다.

기존의 AI Firewalling 방식처럼 입력을 악성 여부로 분류하는 기술만으로는 이러한 고도화된 공격을 막기 어렵다. 악성 입력을 탐지하는 것이 거짓말이나 허위 정보를 가려내는 것만큼이나 복잡하며, 맥락 파악이 어렵기 때문이다.

따라서 보안의 초점은 단순히 악성 입력을 식별하는 것을 넘어, 조작이 성공하더라도 그 **영향력을 제한(Constrain impact)**할 수 있도록 시스템을 설계하는 방향으로 전환되어야 한다.