메타, 비전 인코더 없이 첫 8개 레이어에 비전 모듈 배치해 동등한 성능 달성
·2026.11.16 09:00
핵심 내용
메타 연구, 비전 인코더 없이 첫 8개 레이어에 비전 모듈을 배치해 동등한 성능과 낮은 지연 시간 달성했다
자세히 보기
- 사전학습된 비전 인코더는 선택 사항: 프리트레이닝이 무료인 경우에도 스크래치 학습 인코더가 사전학습 인코더와 동등한 Avg. VQA 점수를 달성함. 인코더 프리트레이닝을 늘리면 ImageNet 정확도는 올라가지만 VQA는 향상되지 않음.
- 비전 전용 용량이 필수적: 인코더 없는 모델이 인코더 성능을 맞추려면 약 3배의 컴퓨트가 필요함. 전용 비전 모듈 없이 백본에 인코더의 0.4B 파라미터를 추가해도 Avg. VQA 개선은 미미함.
- 첫 8개 레이어에 비전 전용 모듈을 배치하는 인퓨전(in-fusion) 설계는 1.7B 백본에서 미드트레이닝 시 Avg. VQA 50.1을 기록함. 이는 MoT(48.5)와 인코더 없는 모델(39.8)을 능가하며 스크래치 인코더(48.6)와 동등한 수준임.
- 인퓨전은 표준 인코더 대비 time-to-first-token 지연 시간을 단축함. 인퓨전은 인코더 없는 베이스라인 대비 37ms를 추가하는 반면, 표준 인코더는 64ms, 전체 레이어 MoT는 100ms를 추가함.
실험 설정 및 통제
- 설계 변수를 분리하기 위해 모든 모델은 동일한 데이터, 백본 아키텍처, 학습 레시피로 스크래치 학습함.
- 비전 인코더는 27층, 0.4B 파라미터의 ViT이며, 프리트레이닝 목표에는 MetaCLIP, WebSSL, Cap, CapPa가 포함됨.
- 벤치마크는 Avg. VQA(16개 Cambrian 벤치마크)와 Avg. Text(12개 언어 벤치마크)를 포함하며, 총 컴퓨트는 6.5x10^20에서 2.9x10^22 FLOPs 범위임.
기존 방법과의 비교
- 인퓨전은 각 모달리티에 별도 모듈을 사용하는 MoT(Mixture-of-Transformers)보다 우수한 Avg. VQA를 달성하며, 미드트레이닝 시 비전 전용 파라미터가 더 적음.
- 이전 연구(Tong et al., Shukor et al.)는 변수를 분리하지 못하거나 인코더에 감소된 학습률을 사용하여 전용 비전 용량의 진정한 이점을 가림.
- 홀드아웃 캡션 손실은 Avg. VQA 추세를 평균 검증 손실보다 잘 반영함. 후자는 인코더 모델과 인코더 없는 모델 간 차이가 미미함(최대 0.05 nats).
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.