HuggingFace, CinePile 2.0 공개

HuggingFace가 비디오 이해 능력을 평가하기 위한 장기 비디오 QA 데이터셋인 CinePile 2.0을 출시했다. 이번 업데이트의 핵심은 데이터셋의 품질을 획기적으로 높이기 위해 고안된 적대적 데이터셋 정제(adversarial dataset refinement) 방법론이다.

CinePile은 단순한 시각 정보 확인을 넘어, 시각 장애인용 **오디오 설명(audio descriptions)**을 활용해 풍부한 맥락을 제공한다. 이를 통해 캐릭터 간의 역학 관계, 서사 분석, 주제 탐색 등 고차원적인 질문을 생성할 수 있는 것이 특징이다.

데이터 생성 및 품질 관리 프로세스는 다음과 같다:

• 템플릿 기반 생성: 기존 데이터셋을 클러스터링하여 다양한 질문 카테고리 구축
• 적합한 템플릿 매칭: Gemini 1.0 Pro를 사용하여 각 영상 장면에 최적화된 템플릿 선택
• LLM 활용 질문 생성: GPT-4를 통해 장면별 구체적인 질문과 답변 근거를 생성하여 할루시네이션 방지

새롭게 공개된 적대적 정제 방법론은 기존의 다양한 데이터셋을 강화하는 파이프라인으로 활용될 수 있다.