Netflix, cascade 파이프라인으로 시놉시스 검증 비용 52.4% 절감

Netflix가 시놉시스별 비용을 52.4% 절감하고 Recall-Fail을 0.77에서 0.86으로 향상시킨 cascade factuality 서비스를 개발함
단일 통합 추론 모델 대신, 명백한 오류와 오해의 소지가 있는 뉘앙스를 모두 포착하기 위해 Literal 및 Implicature 전문 판정관을 갖춘 계층형 파이프라인으로 대체함
신뢰도 게이팅(confidence gating)을 통해 높은 신뢰도의 판정을 추가 검증 없이 통과시켜, 이전에는 모든 시놉시스에 필요했던 100k+ 토큰의 고비용 롱컨텍스트 호출을 줄임
초기 판정관이 식별한 불확실한 추론 지점을 재검증하는 보조 라우터 단계를 추가하여, 인간 논거와의 정합성을 69%에서 82%로 개선함
에피소드 수준 데이터셋에서 전체 쇼 요약본을 사용할 때, 컨텍스트 부재로 인한 과도한 실패 판정을 방지하기 위해 현재 통합 파이프라인보다 15% 저렴함
추론 노력 증가나 소형 모델 사용 등 단순 최적화 시도는 성능 향상에 실패하여, 전문화된 다단계 아키텍처의 필요성을 확인함

핵심 내용