RedThread, LLM 에이전트 레드팀 케이스 재현 CLI 공개

LLM 에이전트의 보안 취약점을 검증하기 위해 레드팀 케이스를 재현하고 분석하는 오픈소스 CLI 도구 RedThread가 공개됐다. 이 도구는 특히 악성 텍스트가 포함된 프롬프트가 도구 호출로 이어졌지만, 모델의 거부나 도구 정책으로 인해 실행되지 않은 '클린 런' 상황을 분석하는 데 초점을 맞춘다.

핵심 기능 및 목적

• 안전성 결정 요인 분리: 단순한 실행 차단을 넘어, 안전성이 프롬프트 설계, 모델 자체, 아니면 도구 정책 중 어디에서 기인했는지 파악할 수 있도록 지원한다.
• 컨텍스트 보존 및 재실행: 프롬프트 변경이나 어댑터 업데이트 후 동일한 케이스를 다시 실행할 수 있도록 컨텍스트 슬라이스, 제안된 도구 호출, 도구 응답을 함께 저장한다.

현재 초기 단계의 프로젝트로, GitHub에서 소스 코드를 확인할 수 있다.