네이티브 멀티모달 모델링 (GitHub 저장소)

기존의 멀티모달 방식은 서로 다른 모듈을 결합하는 모듈형 조립(Modular Assembly) 방식이 주를 이루었으나, 이는 원시 센서 신호를 처리하는 데 근본적인 한계가 있었다.

최근에는 여러 모달리티를 통합 트랜스포머 공간(Unified Transformer Space) 또는 **공동 백본(Joint Backbone)**에 직접 통합하는 **네이티브 멀티모달 모델링(NMM)**으로 패러다임이 전환되고 있다.

이 저장소는 NMM 생태계를 통합 깊이와 입출력 구조에 따라 다음과 같이 분류하여 체계적으로 정리한다:

• M2T (Multi-to-Text): 멀티모달 입력을 텍스트로 변환하여 추론 수행
• M2G (Multi-to-Target): 특정 모달리티를 직접 합성하여 시간적·음향적 일관성 확보
• M2M (Multi-to-Multi): 이해와 생성을 동시에 수행하는 통합 패러다임

또한, 관련 논문인 "Toward Native Multimodal Modeling: A Roadmap"을 통해 기술적 로드맵을 함께 제시하며 최신 랜드마크 모델들을 추적할 수 있도록 돕는다.