DeepsecBench: 사이버 보안 취약점 탐색 모델 성능 평가

최근 OpenAI의 모델이 샌드박스 환경을 탈출해 실제 데이터베이스에 접근하는 사례가 발생함에 따라, AI를 활용한 방어의 중요성이 커지고 있다. 이에 Vercel은 애플리케이션 코드 내 보안 취약점을 얼마나 잘 찾아내는지 평가하는 DeepsecBench를 공개했다.

DeepsecBench는 다음과 같은 특징을 가진다.

• 평가 지표: 재현율(Recall), 정밀도(Precision), 비용, 총 소요 시간을 포함하며, 재현율에 2배의 가중치를 둔 F2 Score를 기준으로 모델을 평가한다.
• 데이터 보안: 모델이 학습 데이터로 활용할 수 없도록 벤치마크 구성 방식(저장소, 커밋, 파일 등)을 비밀로 유지한다.
• 모델 성능: 현재 GPT-5.6 Sol이 가장 높은 점수를 기록하고 있으며, Claude Opus 5, Kimi K3 등이 뒤를 잇고 있다.

고성능 모델은 여전히 높은 비용이 발생하지만, 오픈 웨이트 모델과 효율적인 추론 옵션들이 빠르게 추격하고 있어 보안 스캐닝의 비용 효율성이 점차 개선되고 있다.