LAION Big Video Dataset

LAION은 CommonCrawl에서 수집한 13억 개의 비디오 URL 중 8,000만 개를 다운로드하여 총 1,000만 시간 분량의 오픈소스 비디오 데이터셋 LAION-BVD를 공개했다. 이 데이터셋은 비디오, 오디오, 이미지 모달리티를 아우르는 멀티모달 사전 학습을 위해 설계되었으며, 콘텐츠 기반 장면 감지를 통해 클립을 추출하고 합성 캡션을 생성했다.

벤치마크 성능

• ViCLIP: LAION-BVD로 학습한 모델은 표준 비디오-텍스트 벤치마크에서 InternVid 기반 모델보다 최대 2.1% 높은 성능을 기록했다.
• CLAP: 다양한 현장 사운드를 활용한 오디오-텍스트 벤치마크에서 경쟁력 있는 성능을 보였다.
• CLIP: 비디오 프레임에서 추출한 이미지-텍스트 데이터는 웹 이미지 코퍼스와의 시각적 분포 차이를 보이며, 강력한 검색 성능을 입증했다.

공개 목적 및 제한

LAION-BVD는 대규모 멀티모달 데이터에 대한 접근성을 높이고 독립적인 과학적 조사를 촉진하기 위해 연구 목적 전용으로 공개된다. 상업적 사용은 금지되며, 데이터셋 내 포함된 편향이나 저작권 문제는 연구자가 책임지고 평가해야 한다.