2부: 정책을 따르는 평가자, LLM-as-a-Judge

Tinder AI-enabled Discovery의 설명 생성 정책을 실제 평가 시스템으로 바꾸는 과정에서, 인간 전문가 수준의 LLM-as-a-Judge를 만드는 방법을 정리한다.

평가 방식은 Pointwise evaluation, 척도는 Binary evaluation, 기준은 Single-aspect로 정했다. 단일 모델을 반복 개선하는 상황에서는 절대 기준으로 pass/fail을 나누는 방식이 가장 관리하기 쉽고, 인간 평가자와도 같은 구조를 유지할 수 있었다.

초기에는 정책 문서와 few-shot 예시를 그대로 넣는 일반적인 프롬프트만으로 Judge를 만들었지만, 인간 평가와의 일치율은 약 **60%**에 그쳤다. 이유는 정책이 생성용 문서였다는 점, 인간의 암묵적 판단을 LLM이 그대로 따라 하지 못한다는 점, 그리고 긴 정책 문서에서 핵심 조건을 놓치기 쉬웠다는 점이었다.

문제 해결은 프롬프트를 단계적으로 분해하는 방식으로 이뤄졌다.

• Policy decomposition: 긴 정책을 세부 checklist로 쪼개 각 항목을 개별 binary 판단으로 바꿨다.
• Critique decomposition: 전문가의 직관을 그대로 옮기기보다, checklist 기준에 맞춰 LLM이 해석 가능한 형태로 critique를 재구성했다.
• 리마인더 추가: 프롬프트 마지막에 핵심 기준을 다시 강조해 누락을 줄였다.

이 과정을 반복한 결과, 최종적으로 84% agreement를 달성했다. 내부 인간 평가자 간 일치율이 80% 후반에서 90% 초반이었던 점을 고려하면, 실사용 가능한 수준에 도달한 셈이다.

LLM Judge는 자동 평가를 넘어서 정책 개선과 디버깅에도 쓰였다. 실패 로그의 critique를 보면 vague expression, 잘못된 정보, 연결고리 약화 같은 원인을 빠르게 분류할 수 있어, 생성 모델 수정이나 정책 보완으로 바로 이어졌다.