NVIDIA Cosmos 3, 인과적 증류로 로봇·자율주행 시뮬레이션 모델 4종 공개 (일부 모델 실시간 달성)

• NVIDIA가 Cosmos3-Nano(16B) 기반 인터랙티브 월드 시뮬레이션 체크포인트 4종(Transfer-Auto, Sim-Auto, Sim-Transfer, Sim-Bimanual)을 공개함
• 양방향 생성 모델을 4단계 Causal-rCM 증류로 변환해 짧은 조각 단위의 인과적 생성 모델로 전환함
• Sim-Auto는 카메라 1대 조건에서 GB200 1장으로 364ms/조각(32.6 FPS)을 기록해 실시간(400ms 목표)을 달성했으나, 7대+LiDAR 조건에서는 미달성. Sim-Bimanual은 GB300 1장에서 48.1 FPS로 30 FPS 영상 속도를 상회함
• OpenMDW-1.1 라이선스로 연구 및 상업적 용도 허용, 2026년 10월 20일 Hugging Face에 가중치 공개 완료

기술적 메커니즘

• 4단계 사후 학습(양방향 적응, 교사 강제, 일관성 증류, 셀프 포싱)을 통해 노출 편향 해결 및 오류 누적 방지
• StreamingLLM 기반 어텐션 싱크 적용으로 KV 캐시 크기 제한, 시간 인과적 어텐션으로 과거 조각만 참조
• 학습 자원: Transfer-Auto/Sim-Auto 학습에 GB200 512장, 일관성 증류 단계에 768장 사용

성능 및 한계

• Transfer-Auto는 이전 세대 대비 FID, FVD 등 품질 지표 우위, Sim-Auto는 1시간 연속 생성 시 품질 악화 없음
• Sim-Transfer는 GR00T N1.7 정책에서 성공률 68.8%에서 84.4%로 향상, Sim-Bimanual은 PAI-Bench-G I2V에서 경쟁 모델 대비 우위
• 실시간 성능 측정은 제어 입력 미리 준비된 조건이며, 실제 폐루프 지연 및 접촉 역학 검증은 별도 필요