언어 모델과 정규화 흐름을 연결하여 통합 멀티모달 생성을 실현한 STARFlow2

기존 통합 멀티모달 모델은 시각적 충실도를 희생하거나, 구조적 비대칭성을 안고 있으며, 사전 학습된 이해력을 저하시키는 구조적 단점을 가지고 있다.

Apple 연구진은 **자기회귀 정규화 흐름(Autoregressive Normalizing Flows)**이 LLM과 동일한 인과적 마스크, KV-cache 메커니즘, 좌에서 우로의 구조를 공유한다는 점을 주목했다. 이를 바탕으로 STARFlow2를 제안했다.

STARFlow2는 Pretzel 아키텍처를 기반으로 하며, 동결된 사전 학습 VLM 스트림과 TARFlow 스트림을 잔차 스킵 연결을 통해 수직으로 교차 배치한다. 두 스트림은 동일한 인과적 마스크 하에서 동작하여 사전 학습된 멀티모달 이해력을 보존하면서 고충실도 연속 이미지 생성을 가능하게 한다.

딥-섐플 플로우(Deep-Shallow Flow) 설계와 통합 FAE 잠재 공간이 결합되어, 텍스트와 시각 출력 모두 재인코딩 없이 KV-cache에 직접 진입하는 캐시 친화적 인터리브 생성을 지원한다. 실험 결과 이미지 생성 및 멀티모달 이해 벤치마크에서 강력한 성능을 입증했다.