오픈소스 LLM, 긴 추론 탈옥 공격에 취약

Phi, Mistral, DeepSeek-R1, Llama 3.2, Qwen, Gemma 등 10종의 오픈소스 모델을 대상으로 한 테스트 결과, 경량 방어 기법이 복잡한 공격을 막지 못하는 것으로 나타났다.

연구팀은 94가지 프롬프트 인젝션과 73가지 탈옥(Jailbreak) 시나리오를 통해 다음과 같은 5가지 경량 추론 시점 방어 기법을 검증했다:

• Self-defense (자기 방어)
• Input filtering (입력 필터링)
• System prompt defense (시스템 프롬프트 방어)
• Vector defense (벡터 방어)
• Voting defense (투표 방어)

주요 발견 사항은 다음과 같다:

• 단순 공격에는 효과적이었으나, 긴 추론(Reasoning-heavy) 프롬프트를 활용한 공격은 일관되게 방어 체계를 우회했다.
• 모델의 거부 반응이나 무응답(Silent non-responsiveness)이 관찰되었으며, 이는 단순히 '안전함'을 의미하는 것이 아니라 모델의 실패 모드일 수 있다는 점에 유의해야 한다.
• 이번 연구는 재학습이나 고비용의 미세 조정 없이 프롬프트 래퍼, 필터, 분류기 등을 활용하는 실제 로컬 배포 환경에 적용 가능한 방어 방식에 초점을 맞췄다.