LLM의 역할 인식 한계와 프롬프트 인젝션

Charles Ye 등의 연구진은 LLM이 시스템 메시지(), 사고 과정(), 어시스턴트()와 같은 **역할 태그(Role Tags)**와 사용자 입력()을 명확히 구분하지 못하는 '역할 혼동(Role Confusion)' 문제를 발표했습니다.

연구에 따르면 모델은 텍스트의 실제 의미보다 **텍스트의 스타일(Style)**을 더 강력하게 따르는 경향이 있습니다. 예를 들어, 사용자가 모델의 내부 사고 블록과 유사한 문체를 사용하여 악성 요청을 보내면, 모델은 이를 시스템의 지시사항으로 오인하여 기존의 안전 가이드라인을 무시하고 공격을 허용할 수 있습니다.

특히 '디스타일링(Destyling)' 기법을 통해 텍스트의 형식을 미세하게 변경하는 것만으로도 공격 성공률을 61%에서 10%로 급감시킬 수 있음이 확인되었습니다. 이는 LLM이 진정한 의미의 역할 인식을 갖추지 않는 한, 프롬프트 인젝션 방어는 지속적인 '두더지 잡기' 식의 대응에 그칠 것임을 시사합니다.