넷플릭스, 추천 설명용 LLM-as-a-Judge 4단계 수명주기 공개

1단계: 기준 설정 및 정답 데이터 구축

프로세스는 내부 전문가가 Must-have criteria를 정의하고 맞춤형 벤치마크를 만드는 것부터 시작한다. 표준 벤치마크는 짧고 맥락에 의존하는 설명의 특정 제약 조건을 포착하지 못한다. 벤치마크는 세 가지 데이터 소스를 결합한다:

• Adversarial cases: 알려진 실패 모드가 포함된 수동 작성 예시
• Boundary examples: PASS/FAIL 임계값 근처에 의도적으로 배치된 모호한 사례
• Real samples: 테스트 중 Generator에서 샘플링된 출력

모든 'FAIL' 레이블에는 후속 튜닝 단계에 중요한 자유 형식 Rationale이 포함된다.

2단계: 추론 정렬을 통한 학습

LLM 판정기의 주요 실패 모드는 '정답이지만 이유는 틀린' 상황이다. 판정기가 잘못된 이유로 올바른 레이블을 부여하는 경우다. 이를 해결하기 위해 Netflix는 **Reasoning-Aligned Rubric Tuning (RART)**을 구현했다. 레이블 정확도만 최적화하는 표준 루프와 달리, RART는 Meta-Judge를 사용하여 판정기와 인간 평가자 간의 추론 불일치를 감지한다.

Ablation experiments에 따르면 레이블 전용 최적화는 시간이 지남에 따라 Rubric을 저하시켜 Specificity (fail-recall)와 Reasoning agreement를 모두 감소시켰다. 근거 기반 신호를 통합한 RART는 안정성을 유지하고 두 지표를 모두 개선했다.

3단계: 배포 및 온라인 검증

판정기는 실패한 설명을 차단하는 Gate와 재시도를 위한 피드백을 제공하는 Critic 두 가지 역할을 수행한다. Netflix는 가장 강력한 생성기에 대해 시도를 3회로 제한하는 Bounded Retries를 사용한다. 재시도 후에도 설명이 실패하면 제공되지 않고 Dropped되어 신뢰성을 우선시한다.

Netflix 모바일 앱에서 한 달간 진행된 온라인 A/B test 결과, 설명을 본 회원이 새로운 타이틀을 시청하고 의미 있는 브라우징 세션을 가질 가능성이 더 높았다. 결과는 통계적으로 유의미했으며 사용자 불만은 증가하지 않았다.

4단계: 모니터링 및 드리프트 감지

카탈로그 변경과 진화하는 품질 표준으로 인해 판정기 정렬이 드리프트된다. Netflix는 약 300개의 샘플 설명에 대해 weekly human reviews를 실시한다. 고정된 임계값 대신, 판정기 점수를 인간 평가자 간 분산과 비교하여 드리프트를 감지한다. 판정기가 평균 평가자 점수보다 2 표준 편차 이상 낮으면 드리프트 이벤트가 발생하고 재튜닝이 필요하다.

중요한 점은 재튜닝된 Rubric이 자동으로 배포되지 않는다는 것이다. 변경 사항이 검토되고 이전 버전이 즉시 롤백을 위해 보관되도록 인간 승인을 요구한다. 이 프로세스는 판정기가 현재 Rubric뿐만 아니라 '좋은' 설명의 실제 정의와도 정렬을 유지하도록 보장한다.