취약점 연구, 소형 모델 반복이 더 유리
For vulnerability research, smaller models run repeatedly can outperform larger frontier models like Mythos on cost-to-recall.
·2026.05.02 08:24
LLM 취약점 연구 벤치마크에서 소형 모델 반복 실행이 대형 모델보다 cost-to-recall이 더 좋았다.
Hacktron은 oauth2-proxy v7.15.0를 대상으로, 독립적으로 발견된 두 0-day auth bypass를 정답으로 삼아 모델별 recall과 비용을 비교했다. 사전 처리로 call graph, 문서, 설정, 코드 풍부화를 끝낸 뒤 LLM 단계만 바꿨고, 아직 validation 전이라 이번 비교는 precision이 아니라 recall을 본다.
- 정답 취약점은 CVE-2026-34457(auth_request 모드에서 health check User-Agent 매칭으로 인증 우회)과 CVE-2026-40575(X-Forwarded-Uri 헤더 스푸핑 우회)였다.
- Claude Opus 4.6와 Gemini 3.1 Pro 같은 대형 모델은 두 취약점을 더 안정적으로 찾았지만, 여전히 100% 재현은 아니었다.
- GPT-5.4 Nano는 Finding A를 약 **10%**만 잡았지만, 여러 번 반복하면 거의 **90%**까지 올라갔다.
- 비용 기준으로는 Gemini 3.1 Pro 1회 대신 Flash 14회, Claude Opus 4.6 1회 대신 GPT-5.4 Nano 28회를 돌릴 수 있어, 반복 실행 전략이 더 유리했다.
- 예외적으로 Gemini 3.1 Flash 계열은 9/10, 10/10 수준으로 가장 강한 결과를 냈다.
- 결론은 숙련된 연구자가 개입하는 보안 분석에서는 frontier model이 강하지만, 사람이 없는 자동화 환경에서는 작은 모델을 여러 번 돌리는 쪽이 cost-to-recall에서 더 낫다는 점이다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.