VideoJev, 비디오 구간 찾기·QA용 System One 모델 공개

난징대 MCG-NJU, JD.com 등 7개 기관이 텍스트 생성 없이 후보를 채점해 비디오 구간 찾기(Temporal Grounding)와 객관식 QA를 수행하는 VideoJev 모델을 공개했다. 이 모델은 LM head와 마지막 MLP를 제거하고 후보 채점기를 부착하여, 한 번의 순전파로 결정을 내리는 System One 방식을 채택했다.

모델 구성 및 성능

VideoJev는 Qwen3.5-4B와 Qwen3.6-35B-A3B를 기반으로 재학습되었다. 구간 찾기에서는 구간별 sigmoid 확률을, 객관식 QA에서는 보기별 softmax 확률을 출력한다. 데모 결과 4B 모델은 구간 [3.0, 10.0]과 정답 A(Pasta, 확률 0.9999)를 검출했으며, 35B-A3B 모델은 더 짧은 구간 [3.0, 8.0]을 검출했다.

한계 및 실행 환경

현재 구조는 영상 전체를 먼저 인코딩하므로 실시간 스트리밍 입력 처리는 향후 과제로 명시되었다. 작은 물체 세기나 의도 추론 등 세부 확인이 필요한 문항에서는 높은 확률에도 오답을 낼 수 있다. 코드와 가중치는 Apache License 2.0으로 공개되어 연구 및 상업적 사용이 가능하며, Hugging Face에서 trust_remote_code=True 옵션으로 실행할 수 있다.