AI BriefingMLLM 비전 인코더 사전학습은 선택, 전용 파라미터는 필수
[Meta FAIR + NYU] Unbundling Multimodal Vision Encoding: training 200+ MLLMs to find encoder pretraining is optional but vision-only parameters are not [R]
·2026.11.16 02:38
핵심 내용
200개 이상 모델 실험 결과, 비전 전용 파라미터는 필수지만 인코더 사전학습은 선택 사항임.
자세히 보기
- 강력한 VQA 성능을 위해 비전 전용 파라미터가 필수이며, 인코더가 없는 모델은 0.6B부터 6.4B 규모까지 모든 크기에서 열세를 보임. 추격하려면 약 3배의 컴퓨트 자원이 필요함.
- 별도의 인코더 사전학습은 선택 사항임. 4가지 목적지로 사전학습한 인코더조차 동일한 컴퓨트 조건에서 LLM과 함께 처음부터 학습한 인코더와 비등한 성능을 보임.
- LLM 앞 배치도 선택 사항임. LLM의 첫 8개 레이어에 영 초기화(zero-initialized)된 비전 전용 가중치를 추가하는 '인퓨전(in-fusion)' 방식은 1.7B부터 6.4B 규모에서 표준 인코더와 동등한 성능을 기록함.
- 인퓨전 방식은 표준 인코더 대비 첫 토큰 생성 시간(TTFT)이 약 13% 더 짧음.
- 1.7B 규모에서 1~8번 레이어의 비전 전용 분기는 45.0의 VQA 점수를 기록함. 이는 표준 인코더의 44.4, 텍스트와 파라미터를 공유하는 경우의 42.3보다 높음.
- 실험에는 0.4B 규모의 비전 용량을 가진 Qwen3-1.7B 및 4B 구성을 사용함. Cambrian 기준 448 px 해상도의 16개 VQA 벤치마크와 12개 언어 벤치마크로 평가함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
