프롬프트 인젝션의 이해: 새로운 보안 과제

AI 도구가 웹 브라우징, 연구, 구매 등 복잡한 작업을 수행함에 따라 새로운 보안 위협인 **프롬프트 인젝션(Prompt Injection)**이 부상하고 있다.

프롬프트 인젝션은 대화형 AI를 대상으로 하는 일종의 사회 공학적 공격이다. 사용자가 아닌 제3자가 웹 페이지, 문서, 이메일 등에 악의적인 지침을 숨겨 AI가 의도치 않은 행동을 하도록 유도하는 방식이다.

주요 공격 사례는 다음과 같다:

• 부동산 검색: 특정 매물을 추천하도록 조작된 정보를 통해 사용자가 원치 않는 매물을 추천받음.
• 이메일 관리: 이메일 내에 숨겨진 지침을 통해 AI 에이전트가 사용자의 은행 명세서와 같은 민감 정보를 탈취하여 공격자에게 전송함.

AI가 더 많은 데이터에 접근하고 자율적인 작업을 수행할수록 이러한 위험은 더욱 커진다. OpenAI는 이를 방어하기 위해 **안전 교육(Safety training)**을 포함한 다층적 방어 체계를 구축하고 있으며, 신뢰할 수 있는 지침과 그렇지 않은 지침을 구분하는 Instruction Hierarchy 연구를 진행 중이다.