NVIDIA, 로봇용 Cosmos 3 Edge 공개

NVIDIA가 로봇 및 비전 AI 에이전트가 주변 환경을 이해하고 실시간으로 행동을 생성할 수 있도록 돕는 Cosmos 3 Edge를 Hugging Face에 공개했다. 이 모델은 40억 개(4B)의 파라미터를 가진 오픈 모델로, 데이터 센터급 성능을 메모리가 제한된 엣지 환경에서 구현하도록 설계되었다.

Cosmos 3 Edge는 두 개의 트랜스포머 타워를 결합한 구조를 가진다:

• Autoregressive tower: 비전 및 텍스트 토큰을 처리하여 상황 이해 및 추론 수행
• Diffusion tower: 비전, 오디오, 액션 토큰을 처리하여 예측 및 생성 수행

이 모델은 NVIDIA Jetson Thor에서 15Hz의 실시간 제어 속도를 달성하며, VANTAGE-Bench 비전 분석 부문에서 동일 규모 모델 중 1위를 기록했다. 또한, 서로 다른 물리적 시스템(차량, 카메라, 로봇 팔 등)의 동작을 **공통 액션 표현(Common Action Representation)**으로 매핑하여 일관된 제어가 가능하다.