Semgrep: GLM 5.2가 자사 Cyber Benchmarks에서 Claude를 능가함

Semgrep의 IDOR(Insecure Direct Object Reference) 탐지 벤치마크 결과, Zhipu AI의 오픈 웨이트 모델인 GLM 5.2가 39%의 F1 스코어를 기록하며 Claude Code(32%)를 앞질렀습니다. 이는 단순 프롬프트만 제공된 환경에서 오픈 웨이트 모델이 프론티어 모델을 능가한 이례적인 결과입니다.

GLM 5.2의 주요 특징:

• MoE(Mixture-of-Experts) 구조: 총 파라미터는 약 7,500억 개이나, 토큰당 활성 파라미터는 400억 개 수준으로 추론 비용을 최적화했습니다.
• 확장된 컨텍스트: 1M(100만) 토큰까지 지원하며, 긴 에이전트 작업 경로에서도 신뢰할 수 있는 컨텍스트 유지가 가능합니다.
• 높은 가성비: 기존 프론티어 모델 대비 약 1/6 수준의 비용으로 운영이 가능합니다.
• 오픈 웨이트: MIT 라이선스로 공개되어 보안이 중요한 환경에서 로컬 실행 및 미세 조정(Fine-tuning)이 용이합니다.

이번 결과는 모델 자체의 성능뿐만 아니라, 모델을 감싸는 **Harness(스캐폴딩)**의 역할이 보안 작업에서 얼마나 중요한지를 시사합니다. Semgrep의 멀티모달 파이프라인은 구조화된 환경에서 53~61%의 F1 스코어를 기록하며 가장 높은 성능을 보였습니다.