Apple, 영상 캡션 품질 평가용 참조 없는 벤치마크 CapQuiz 공개

기존 영상 캡션 평가 지표는 생성된 텍스트와 정답 텍스트를 일치시키는 방식에 의존해, 표현이 다르거나 시선이 이동한 고품질 캡션이 불이익을 받는 문제가 있었다. 또한 평가가 단편적이어서 캡션 품질의 세밀한 분석이 어려웠다.

Apple 연구진은 이러한 한계를 극복하기 위해 CapQuiz라는 새로운 참조 없는(reference-free) 벤치마크를 도입했다. 이 벤치마크는 영상에서 추출한 인간 검증 기반의 세분화된 객관식 질문에 캡션이 얼마나 잘 답할 수 있는지를 통해 품질을 평가한다. 질문은 Descriptive와 Inferential 범주에 걸쳐 10가지 유형으로 분류되며, 24개의 다양한 영상 도메인을 포함한다.

연구진은 캡션의 사실성(Factuality)과 커버리지(Coverage)를 종합적으로 측정하기 위해 CapF1이라는 복합 지표를 제시했다. CapF1은 CapP(사실성)와 CapR(커버리지)을 결합한 값으로, 실험 결과 CapQuiz가 기존 지표들보다 인간 판단과 유의미하게 더 높은 상관관계를 보이며 모델 성능에 대한 해석 가능한 인사이트를 제공하는 것으로 확인됐다.