NVIDIA, 물리적 AI용 옴니 모델 'Cosmos 3' 공개

NVIDIA가 물리적 AI를 위한 세계 기초 모델(World Foundation Models, WFM)인 Cosmos 3를 Hugging Face에 공개했다. Cosmos 3는 세계 생성, 물리적 추론, 행동 생성을 하나의 모델로 통합한 최초의 **옴니 모델(Omni-model)**이다.

기존에는 세계 생성, 장면 이해, 정책 생성 등을 위해 별도의 모델을 조합해야 했으나, Cosmos 3는 Mixture-of-Transformers(MoT) 아키텍처를 통해 단일 모델 내에서 텍스트, 이미지, 비디오, 오디오, 행동 등 모든 모달리티를 처리한다.

핵심 기술 및 구성:

• 통합 아키텍처: 추론을 담당하는 AR(Autoregressive) 서브시퀀스와 생성을 담당하는 DM(Diffusion) 서브시퀀스가 Joint Attention을 통해 상호작용하며, 이를 통해 VLM, 비디오 생성기, 로봇 정책 모델 등으로 유연하게 전환된다.
• 모델 라인업: 효율적인 추론에 최적화된 Cosmos 3 Nano(8B 파라미터)와 고성능 모델인 Cosmos 3 Super가 제공된다.
• 개발 생태계: Hugging Face를 통한 모델 배포와 더불어, GitHub에서 자체 데이터 학습을 위한 포스트 트레이닝 스크립트 및 오픈 합성 데이터 생성(SDG) 데이터셋을 지원한다.

이 모델은 로봇 공학, 자율 주행, 스마트 공간 시뮬레이션 등 물리적 세계를 이해하고 상호작용해야 하는 AI 시스템 구축의 핵심 기반이 될 전망이다.