LLM 에이전트 보안 패치 벤치마크: CVE-Bench

18개 Python 프로젝트의 20개 실제 CVE를 대상으로 LLM 에이전트의 보안 패치 능력을 평가하는 CVE-Bench가 개발되었다. 5종의 프론티어 모델을 대상으로 세 가지 프롬프트 조건(advisory, diagnose, locate) 하에 총 300회의 테스트를 수행했다.

주요 실험 결과는 다음과 같다:

• 해결률: 전체 평균 해결률은 **50%**이며, 상세 보고서(advisory)가 제공될 경우 **60%**까지 상승한다. 단, 테스트 통과 여부는 취약점이 완전히 제거되었는지를 기준으로 엄격하게 판정한다.
• 모델 성능: 모델 제품군 간의 성능 차이는 통계적으로 유의미했으나, 동일 제품군 내의 차이는 이번 테스트 규모에서 유의미한 수준에 도달하지 못했다. 특히 고비용 모델이 반드시 압도적인 성능을 보장하지는 않아, 비용 효율성이 중요한 선택 기준이 될 수 있음이 시사되었다.
• 실패 패턴: 모델이 올바른 파일을 찾은 뒤 한 번의 잘못된 추론을 하면, 이후 남은 단계 동안 그 오류를 바탕으로 계속해서 잘못된 방향으로 나아가는 'Wrong-search drift' 현상이 주요 실패 원인으로 분석되었다.