2026년 효율적인 비디오 인텔리전스

비디오 인텔리전스는 이제 짧은 클립 분류를 넘어, 시간 단위 영상, 온디바이스 추적, 다중 모달 추론을 함께 처리해야 하는 단계로 들어갔다. 1분짜리 30 FPS 224x224 영상은 ViT-B/16 기준 35만 2천 개의 시각 토큰을 만들고, 1시간이면 2,100만 토큰에 이른다. 화면은 대부분 비슷하지만 중요한 사건은 드물기 때문에, 비디오는 어디선가 반드시 압축되고 적응적으로 샘플링되어야 한다.

프레임 인코더는 이제 하나의 백본으로 여러 역할을 맡아야 한다. CLIP/SigLIP/SigLIP 2는 semantic retrieval에는 강하지만 dense prediction에는 약하고, DINOv2/DINOv3는 segmentation, depth, correspondence에 강하지만 language alignment가 약하다. SAM/SAM 2는 세그멘테이션과 트래킹에, DepthAnything/DepthPro/DepthLM은 depth에 특화돼 있다. 이 간극을 줄이려는 흐름이 AM-RADIO, Theia, DUNE 같은 agglomerative encoder 계열이며, EUPE는 여기에 proxy teacher를 한 번 더 둔다. 먼저 DINOv2/v3, SAM 계열, CLIP/SigLIP/SigLIP-SO400M를 섞어 큰 proxy teacher를 만들고, 그 결과를 100M 파라미터 미만 학생으로 옮긴다. 서로 다른 teacher들의 충돌을 proxy 단계에서 정리한 뒤 압축하는 방식이라, 직접 다중 teacher distillation보다 신호 손실이 적다.

긴 영상을 다루면 표준 self-attention의 O(n²) 비용이 바로 병목이 된다. 대응은 세 갈래로 수렴했다.

• Sliding-window / sparse attention: LongLLaMA, Mistral, DeepSeek Native Sparse Attention처럼 지역 또는 선택된 토큰에만 집중한다.
• Linear attention: Performer, Linformer, Nyströmformer, 그리고 Qwen3-Next의 Gated DeltaNet처럼 선형 복잡도로 길이를 감당한다.
• Hybrid Mamba-Transformer: Jamba, Nvidia Nemotron Nano 2처럼 단기 관계는 attention, 장기 의존성은 SSM으로 처리한다.

비디오에서는 이 구조가 factorized spatial-temporal attention으로 정리된다. 프레임 내부는 공간 attention을 유지하고, 프레임 간 temporal attention은 sparse 또는 linear로 줄이는 방식이며, Qwen3-VL과 LLaVA-Video도 이 방향으로 수렴한다.

세그멘테이션과 트래킹은 온디바이스 비디오의 핵심 실행부다. SAM 2는 recent/prompted frame을 분리한 FIFO memory와 object pointer를 더해 비디오로 확장했고, XMem의 multi-store memory, DEVA의 decoupled temporal propagation, Cutie의 query-based object transformer도 각기 긴 기억, 재사용성, 메모리 효율에서 장점을 보인다.

압축 계열의 진전이 실제 배포를 바꿨다. EfficientSAM은 SAM의 image encoder를 SAMI로 증류해 더 작은 ViT-T/S가 유사 성능을 내게 했고, Efficient Track Anything은 hierarchical encoder 대신 plain ViT와 효율적 memory module을 써서 A100에서 약 2배 속도, 파라미터 2.4배 감소, iPhone 15 Pro Max에서 약 10 FPS를 달성했다. EdgeTAM은 2D Spatial Perceiver로 메모리를 더 압축해 DAVIS 2017, MOSE, SA-V val/test에서 87.7 / 70.0 / 72.3 / 71.7 J&F를 기록하고, iPhone 15 Pro Max에서 16 FPS를 냈다. 성능 향상의 중심은 모델을 무작정 키우는 일이 아니라, 프레임 중복을 줄이고 메모리 전파를 효율화하는 데 있다.

3D와 depth에서는 영상의 parallax와 motion이 강한 단서를 제공하지만, 실제로는 아직 이미지 기반 접근이 주류다. DepthLM은 3B VLM 백본에 표준 SFT만으로도 DepthPro와 Metric3Dv2 수준의 metric depth를 맞히거나 앞설 수 있음을 보여준다. 핵심은 시각 프롬프트, focal length를 정규화하는 intrinsic-conditioned augmentation, 그리고 이미지당 한 픽셀만 라벨이 있는 희소 지도학습이다.

전용 스페셜리스트인 DepthAnything, DepthAnything V2, DepthPro, Metric3D v2는 여전히 많은 벤치마크에서 강하고, Marigold는 zero-shot generalization에서 유리하지만 느리다. DUSt3R, MASt3R, VGGT 같은 reconstruction 계열까지 더해지면서, depth는 스페셜리스트·diffusion prior·reconstruction·VLM이 맞붙는 구도로 정리된다.

결국 2026년의 비디오 인텔리전스는 단일 거대 모델보다, 인코더, 어텐션, 메모리, 태스크별 헤드를 각 단계에서 압축해 소비자 기기까지 내리는 설계가 승부처다.