GitHub, ModernBERT 도입해 시크릿 스캔 비용 98% 절감

GitHub가 기존 LLM 기반 시크릿 스캐닝 시스템을 ModernBERT 분류기로 교체한 새로운 파이프라인을 배포했다. 이 방식은 정규식 필터로 후보를 선별한 뒤, 경량화된 분류기가 컨텍스트를 분석해 실제 자격 증명과 유사 문자열을 구분하는 2단계 구조를 채택했다. 이를 통해 코드 커밋 전 푸시 보호 단계에서도 일반 시크릿 탐지 기능을 제공할 수 있게 됐다.

성능 및 비용 개선

특화 인코더 모델 도입으로 프로덕션 환경에서 다음과 같은 개선이 확인됐다.

• 서빙 비용: 원격 LLM 호출 대비 98% 이상 절감
• 실행 시간: 푸시 후 스캔 중간값 실행 시간 86% 단축
• 사용자 수용률: 저장소 소유자 가중치 기준 수용률 11.5% 상승 (오탐 감소 및 신뢰도 향상)

오프라인 평가에서는 동일 트래픽 기준 기존 LLM 파이프라인 대비 정밀도 13%, 재현율 19% 향상됐다. 분류기는 GitHub 인프라에서 빠른 추론을 위해 8-bit 양자화가 적용된 ONNX 포맷으로 내보내진다.

파이프라인 작동 방식

시스템은 테스트 픽스처, 문서 자리 표시자, 체크섬 등 자격 증명 패턴과 일치하지만 실제 시크릿이 아닌 '하드 네거티브' 문제를 해결한다.

1. 후보 생성: 정규식 패턴으로 잠재적 시크릿을 스캔하며 속도와 광범위한 커버리지를 우선시한다.
2. 컨텍스트 인식 분류: 미세 조정된 ModernBERT 모델이 후보 값과 파일 경로, 변수명, 주변 코드를 함께 분석한다. 'example'이나 'dummy' 같은 단어를 오탐 신호로 학습해 정확도를 높인다.

학습 및 향후 전망

모델은 GitHub 저장소의 제품 데이터, 고재현율 정규식 후보, 난이도 높은 케이스를 겨냥한 합성 데이터를 조합해 학습됐다. 특히 구문은 유사하지만 의미가 다른 문자열을 구분하기 위해 하드 네거티브 학습에 중점을 뒀다.

GitHub는 모델 크기가 유용성을 보장하지 않으며, 명확한 결정 경계가 있는 좁은 작업에는 미세 조정된 소형 분류기가 더 효과적이라고 밝혔다. 향후에는 프로덕션 피드백을 활용한 지속 개선 플라이휠 구축과 탐지 및 추출을 단일 단계로 수행하는 아키텍처 연구를 진행할 예정이다.