공개 모델을 활용한 고위험 보안 취약점 탐지

Ramp는 내부 코딩 에이전트인 Inspect를 활용해 8시간 동안 약 1만 개의 에이전트를 자사 백엔드에 투입했다. 이를 통해 기존의 침투 테스트나 버그 바운티, AI 스캔으로는 발견하지 못했던 7개의 고위험(high-severity) 보안 취약점과 다수의 저위험 취약점을 찾아냈다.

이번 스캔은 특정 폐쇄형 모델에 의존하지 않는 모델 불가지론적(model-agnostic) 방식으로 진행되었다. 저렴한 오픈 웨이트(open-weight) 모델만으로도 충분히 고위험 보안 문제를 식별할 수 있음을 입증했다.

스케일링의 핵심은 컴퓨팅 자원의 활용이다. 프로그래밍 작업에서 LLM 시도 횟수를 늘리면 성공률이 **로그 선형(log-linearly)**으로 향상된다는 원칙을 보안 작업에 적용했다. 보안 스캔은 정답을 맞히는 것보다 수많은 시도 중 단 한 번의 유효한 공격 경로를 찾는 것이 중요하기 때문에 이 방식이 매우 효과적이다.

전체 프로세스는 다음과 같이 구성되었다:

• 대규모 병렬 배포: 모든 엔드포인트에 Inspect 세션을 실행하여 인증 및 결제와 같은 보안 민감 영역을 집중 조사했다.
• 중복 제거(Deduplication): 6,000개의 초기 티켓 중 중복된 항목을 Inspect를 통해 병합하여 약 3,000개의 고유 티켓으로 압축했다.
• 트리아지(Triage): 최종적으로 실제 버그와 오탐(false positive)을 구분하고 심각도에 따라 순위를 매겨 조치 가능한 작업으로 전환했다.