LLM을 이용한 서비스 취약점 분석 자동화 #1

토스는 LLM을 활용해 서비스 취약점 분석을 자동화하는 과정에서 마주한 네 가지 핵심 과제와 그 해결책을 공개했다.

첫 번째 과제인 대용량 소스코드 처리 문제는 **MCP(Model Context Protocol)**를 도입해 해결했다. LLM이 필요할 때마다 소스코드를 직접 탐색할 수 있는 SourceCode Browse MCP를 개발하여, 토큰 제한 문제와 환각(Hallucination) 현상을 극복했다.

두 번째인 분석 정확도 및 일관성 문제는 Semgrep과 같은 SAST 도구를 결합해 해결했다. 모든 Source $\to$ Sink 경로를 먼저 수집한 뒤 LLM이 분석하게 함으로써, 취약점을 놓치지 않고 정확하게 찾아내는 전략을 세웠다.

세 번째인 비용 문제는 Multi-Agent 시스템으로 최적화했다. Discovery 에이전트가 불필요한 경로를 먼저 걸러내고, Analysis 에이전트가 실제 취약점 가능성이 있는 경로만 처리하도록 설계해 토큰 소모를 획기적으로 줄였다.

마지막으로 지속 가능한 운영을 위해 Cloud Model 대신 Open Model로 전환했다. 여러 모델을 비교 테스트한 결과, 분석률과 정탐률이 우수한 Qwen3:30B를 최종 선택하여 95% 이상의 높은 정확도를 확보할 수 있었다.