프로덕션 배포 전 LLM 평가 방법

벤치마크에서 좋은 성적을 거둔 LLM도 프로덕션 환경에서는 실용적 문제를 겪을 수 있습니다. 실제 입력은 모호하고 라벨이 일관되지 않으며, 벤치마크에 없는 엣지 케이스가 실패의 원인이 되기 때문입니다.

이 글은 GitHub 시크릿 스캐닝 시스템의 오탐(false positive)을 줄이면서도 보안 워크플로우의 안전성을 유지하기 위해 적용한 평가 방식을 공유합니다. 핵심은 모델 자체보다 **제품 결정(Product Decision)**에 초점을 맞추는 것입니다.

평가 기준은 세 가지 레벨로 구성됩니다.

• 주요 결과(Primary Outcome): 오탐 감소 및 정밀도(Precision) 향상
• 안전성 제약(Safety Constraint): 재현율(Recall)이 허용 범위 내 유지
• 운영 가드레일(Operational Guardrails): 지연 시간, 비용, 신뢰성, 프로덕션 호환성

오프라인 평가는 일회성 작업이 아니라 **통합 테스트(Integration Testing)**처럼 접근해야 합니다. 프롬프트 수정이나 모델 변경 시 회귀(regression)를 방지하기 위해 지속적으로 시스템을 검증해야 합니다.