Meta FAIR, 비전 인코더 사전 학습 효과 제한적
멀티모달 모델의 비전 인코더(Vision Encoder), 사전 학습보다 전용 파라미터가 중요하다는 통제 실험 연구
·2026.11.18 17:00
핵심 내용
비전 전용 파라미터가 성능에 기여하며, 백본 앞 레이어 배치 시 인코더와 동등한 성능을 낸다.
자세히 보기
- 멀티모달 비전 인코더의 세 가지 설계 요소 중 비전 전용 파라미터(Dedicated Vision Capacity)가 성능에 유의미한 영향을 미치며, 사전 학습의 효과는 제한적이라는 결론을 도출함
- 인코더 없는 모델이 인코더 모델과 동등한 성능을 내기 위해 1.7B 백본 기준 4.4배, 4B 백본 기준 3.0배의 추가 연산량이 필요함
- 백본 앞 8개 레이어에 비전 전용 모듈을 배치하는 in-fusion 구조가 가장 긴 학습 예산에서 인코더와 동등한 성능(Avg. VQA 49.2 vs 48.9)을 달성함
- in-fusion 구조는 인코더 대비 첫 토큰까지의 시간(TTFT)이 13~18% 짧음
- 실험은 6.4B 이하 밀집 구조 백본과 224x224 해상도 학습 데이터에 한정되며, 코드 및 가중치 공개는 없음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.