법원이 AI를 사용한다고 의심한 남성이 승소를 위해 소송 서류에 prompts를 삽입했다

미국 코네티컷주의 Walter Spader Jr. 판사는 소송 서류 내에 인간은 볼 수 없지만 AI 시스템은 읽을 수 있는 형태로 숨겨진 명령어를 삽입한 사례를 확인했다.

원고 Matthew Elliott는 Prompt Injection을 시도했다. 그는 흰색 배경에 아주 작은 글씨로 명령어를 숨겨, AI가 서류를 검토할 경우 원고의 주장에 동의하고 법원의 이전 결정을 무시하며 원고가 원하는 방향으로 결론을 내리도록 유도했다.

해당 법원은 AI를 사용하여 서류를 검토하지 않으므로 실제적인 위험은 발생하지 않았으나, 판사는 이를 "심각한 소송 남용"이자 위험한 선례라고 비판했다. Elliott는 이후에도 "농담"이라며 숨겨진 메시지를 지속적으로 추가하다가 결국 전자 파일 제출(e-filing)이 금지되는 제재를 받았다.

판사는 이러한 공격 방식이 이력서 조작 등에서 흔히 쓰이는 방식과 유사하다고 지적하며, 향후 법원 시스템을 대상으로 한 악의적인 AI 명령 삽입 시도가 증가할 수 있다고 경고했다.