Amazon이 agentic AI로 글로벌 규모 취약점 탐지를 구현하는 방법

2025년 NVD가 4만8,000개가 넘는 신규 CVE를 공개하면서, 보안팀은 취약점 공개와 방어 사이의 시간을 얼마나 줄이느냐가 핵심 과제가 됐다. Amazon은 이를 위해 RuleForge라는 agentic AI 시스템을 만들어, 공개된 exploit proof-of-concept code를 바탕으로 탐지 룰을 생성하고 검증한다.

기존 작업은 분석가가 직접 모든 단계를 처리하는 방식이었다. exploit을 내려받아 분석하고, 탐지 로직을 작성한 뒤, 로그 쿼리로 정확도를 확인하며 false positive를 줄일 때까지 반복하고, 마지막에는 동료 보안 엔지니어의 code review를 거쳐 배포했다.

RuleForge는 이 흐름을 인간 전문가의 워크플로를 닮은 다중 에이전트 파이프라인으로 쪼갠다.

• 자동 수집·우선순위화: 공개 exploit PoC를 내려받고, content analysis와 threat intelligence를 이용해 우선순위를 매긴다.
• 병렬 rule 생성: AWS Fargate와 Amazon Bedrock 위의 generation agent가 한 CVE에 대해 여러 후보 탐지 룰을 동시에 만든다.
• AI 평가: 별도의 judge model이 각 룰을 sensitivity와 specificity 기준으로 평가한다. 생성 모델이 자기 자신을 평가하지 않게 한 점이 핵심이다.
• 다단계 검증: synthetic test로 기본 탐지력을 확인하고, MadPot 같은 트래픽 로그로 실제 동작을 검증한 뒤, 실패한 룰은 구체적 피드백과 함께 다시 generation agent로 돌아간다.
• 인간 최종 검토: 가장 좋은 룰은 기존처럼 보안 엔지니어의 code review를 거쳐야만 production에 들어간다.

분리된 judge model은 특히 효과적이었다. 생성 모델이 자기 confidence를 말하게 하면 거의 모든 결과를 좋다고 판단했지만, 별도 judge를 두자 false positive가 67% 줄었고 true positive 수는 유지됐다. 평가 질문을 "잘 맞는다"가 아니라 "어디서 실패하는가"로 바꾸는 negative phrasing과, 보안 엔지니어가 실제로 보는 기준을 반영한 domain-specific prompts가 calibration을 크게 개선했다.

이 시스템은 reasoning chain도 생성해 인간 판단과 비교했다. 평가 결과, AI judge의 reasoning은 9개 룰 중 6개에서 인간 전문가의 판단과 일치했다. 예를 들어 한 사람은 SQL injection regex가 너무 느슨하다고 봤고, judge도 그 패턴이 특정 취약점보다 훨씬 넓은 문자열을 잡는다고 결론 내렸다.

Amazon은 이 confidence scoring system을 2025년 8월에 배포했고, 그해 마지막 4개월 동안 RuleForge는 수작업 대비 탐지 룰 생성·검증 속도를 336% 끌어올렸다. 핵심은 룰 작성에서 인간을 빼는 것이 아니라, 생성과 평가를 분리한 뒤 여러 specialized agent가 초안을 만들고 인간이 최종 승인하는 구조로 바꾼 데 있다. 이 방식은 대규모 vulnerability disclosure 환경에서 방어 규칙을 더 빨리 갱신하는 실전형 패턴으로 제시된다.