LiteFrame, Video LLM 효율성 확장

Video LLM을 장시간 영상으로 확장할 때 가장 큰 문제는 시각 토큰의 폭발적 증가다. 기존 방식은 특징 추출 후 토큰을 줄여 LLM 부하를 낮추는 '사후 감축' 전략에 집중했지만, 이 경우 병목이 LLM에서 프레임별 처리를 수행하는 비전 인코더로 이동한다.

LiteFrame은 Google DeepMind와 서울대가 제안한 고효율 비디오 인코더로, 이 문제를 근본적으로 해결한다. **Compressed Token Distillation (CTD)**이라는 새로운 학습 방식을 사용해 경량 학생 모델이 대형 교사 모델의 시공간 압축 표현을 직접 예측하도록 학습시킨다. 이후 Language Model Adaptation (LMA) 단계에서 압축된 잠재 공간을 LLM과 정렬해 최대 512 프레임까지 처리 가능하게 만든다.

주요 성과:

• 추론 지연 35% 감축: 비전 인코딩과 LLM prefilling을 합친 전체 추론 시간 대폭 단축
• 파라미터 71% 감소: 교사 모델 304M 대비 87M 파라미터만 사용
• 프레임 처리량 8배 증가: 동일 컴퓨팅 예산 내에서 8배 더 많은 프레임 처리 가능
• 제로샷 고해상도 대응: 고해상도 학습 없이 HLVid 벤치마크에서 최고 점수 달성

Video-MME, MLVU, LongVideoBench 등 여러 벤치마크에서 기존 모델 대비 정확도는 높이면서 지연시간은 낮추는 새로운 성능-지연 파레토 프론티어를 제시했다.