Apple, 3B 규모 3모달 Masked Diffusion 모델 공개

Apple Research가 텍스트, 이미지-텍스트, 오디오-텍스트 데이터로 처음부터 사전 학습된 최초의 **3모달 Masked Diffusion Models(MDM)**을 공개했다. 기존 연구들이 단일 모달 기반 모델을 초기화하거나 미세 조정했던 것과 달리, 이번 연구는 멀티모달 스케일링 법칙, 모달 혼합 비율, 노이즈 스케줄을 체계적으로 분석해 최적화된 추론 샘플링 기본값을 제시한다.

새로운 배치 크기 재매개변수화

배치 크기 분석을 통해 확률 미분 방정식(SDE) 기반의 새로운 재매개변수화 기법을 도입했다. 이 방법은 최적의 배치 크기를 별도로 튜닝할 필요를 없애며, 연산 효율성을 위해 선택하는 물리적 배치 크기와 확률적 최적화 중 그래디언트 분산을 균형 잡기 위해 선택하는 논리적 배치 크기를 분리한다.

모델 성능 및 범위

이 통합 설계의 가능성을 보여주는 예비 모델은 3B 규모에서 6.4T 토큰으로 학습되어 강력한 성능을 입증했다. 텍스트 생성, 텍스트-이미지(T2I), 텍스트-오디오(T2S) 작업에서 모두 우수한 결과를 보였다. 이는 지금까지 수행된 멀티모달 이산 확산 모델 연구 중 가장 큰 규모의 체계적인 공개 연구다.