Skill 품질 관리를 위한 Rubric 설계와 시스템 구현

코딩 에이전트의 보조 도구인 Skill은 LLM이 호출하고 읽는 산출물로, 코드와 달리 컴파일러나 테스트 도구가 없어 품질 관리가 어렵다. 특히 잘못된 설명 작성으로 인한 트리거 실패와 형식 위반으로 인한 호출 실패가 주요 문제로 나타났다.

이를 해결하기 위해 6개 섹션, 30개 항목으로 구성된 Rubric을 설계했다. 핵심 설계 원칙은 결정적인 결함은 **규칙 기반(Rule-based)**으로, 의미적인 판단은 **모델 기반(Model-based)**으로 분리하여 관리하는 것이다.

Rubric의 주요 구조 및 운영 방식:

• 6개 섹션: 타당성, 구조, 트리거, 콘텐츠, 리소스, 안전성
• 심각도 구분: BLOCKER, MAJOR, MINOR로 나누어 관리
• 등급 체계: S부터 F까지 5단계로 구분하며, BLOCKER 항목이 하나라도 있으면 즉시 F 등급을 부여해 배포를 차단함

이러한 분리 설계는 운영 비용 최적화에도 효과적이다. 비용이 거의 들지 않는 규칙 검사를 먼저 수행하고, 이를 통과한 경우에만 비용이 발생하는 LLM 모델 검사를 진행하여 효율성을 높였다.