VSAS-Bench: 비주얼 스트리밍 어시스턴트 모델의 실시간 평가

기존의 VLM(Vision-Language Model) 프레임워크는 주로 오프라인 환경에서 모델을 평가해 왔다. 하지만 실시간 비주얼 어시스턴트의 핵심인 스트리밍 VLM은 단순한 영상 이해를 넘어, 응답의 적시성을 나타내는 proactiveness와 시간 흐름에 따른 응답의 견고함을 의미하는 consistency가 필수적이다.

이를 해결하기 위해 제안된 VSAS-Bench는 비주얼 스트리밍 어시스턴트를 위한 새로운 프레임워크이자 벤치마크다. 이 벤치마크는 다음과 같은 특징을 갖는다:

• 다양한 도메인과 작업 유형에 걸쳐 **18,000개 이상의 시간 밀집형 주석(temporally dense annotations)**을 제공한다.
• 표준화된 동기식(synchronous) 및 비동기식(asynchronous) 평가 프로토콜을 도입했다.
• 스트리밍 VLM의 개별 역량을 분리하여 측정할 수 있는 지표를 제공한다.

연구팀은 이를 통해 메모리 버퍼 길이, 메모리 액세스 정책, 입력 해상도 등 주요 설계 요소에 따른 정확도-지연 시간(accuracy–latency) 트레이드오프를 분석했다. 실험 결과, 추가 학습 없이 기존 VLM을 스트리밍 환경에 적응시키는 것만으로도 최신 스트리밍 전용 모델을 능가할 수 있음이 증명되었다. 일례로 Qwen3-VL-4B는 비동기 프로토콜에서 기존 최고 수준의 스트리밍 VLM인 Dispider보다 3% 높은 성능을 기록했다.