PolyRange: 오염 없는 AI 사이버 보안 벤치마크 공개

기존 사이버 보안 AI 평가 방식은 **데이터 오염(Contamination)**과 **정적 환경(Static environments)**이라는 한계가 있다. CTF 스타일의 벤치마크는 학습 데이터에 포함될 위험이 크고, 실제 환경과 달리 방어자가 없는 정적인 상태라는 점이 문제로 지적되어 왔다.

PolyRange는 이러한 문제를 해결하기 위해 다음과 같은 방법론을 도입한다:

• 동적 태스크 생성: 연구자가 선택한 생성 모델을 통해 매번 새로운 태스크를 생성함으로써, 모델이 벤치마크를 미리 학습하는 오염 문제를 원천적으로 방지한다. 이는 OpenAI가 권장하는 '새로 구축된 태스크' 기준을 충족한다.
• 능동적 방어 환경: Anthropic과 UK AISI가 강조한 '능동적 방어자' 조건을 모사하기 위해 **방어 계층(Defence tiers)**을 도입하여 실제 운영 환경과 유사한 평가 조건을 제공한다.

이 프로젝트는 MIT 라이선스로 공개된 독립적인 연구 결과물이다.