비디오 토큰화 효율을 높이는 적응형 메커니즘 연구

기존의 비디오 토큰화 방식은 정보량을 추정하기 위해 추가적인 연산 비용이 발생하는 한계가 있었습니다. 본 연구는 고정된 비디오 토크나이저의 잠재 공간(Latent space)에 내재된 **시간적 중복성(Temporal redundancy)**을 직접 활용하는 방식을 제안합니다.

핵심 메커니즘은 다음과 같습니다:

• 매개변수 없는 적응형 토큰 할당: 인접 프레임 간의 잠재 표현 차이(Temporal-L1 difference)에 고정 임계값을 적용하여, 변화가 적은 위치의 토큰을 자동으로 제거합니다.
• Latent Inpainting Transformer (LIT): 제거된 위치의 정보를 복원하기 위해 경량화된 시공간 어텐션 구조인 LIT를 도입했습니다.

이 프레임워크는 단 한 번의 인코더 패스와 LIT의 순전파만으로 작동하여 매우 효율적입니다. 실험 결과, 기존의 연속형 적응형 베이스라인(ElasticTok-CV) 대비 31배, 이산형 정보 이론 베이스라인(InfoTok) 대비 2배 빠른 추론 속도를 기록하며 높은 재구성 품질을 입증했습니다.