Cosmos 3 Edge 소개

NVIDIA Cosmos 3 Edge는 로봇·비전 AI 에이전트가 엣지 환경에서 실시간 추론과 액션 생성을 수행할 수 있도록 설계된 40억(4B) 파라미터 오픈 월드 모델이다. Hugging Face를 통해 공개되었으며, RTX PRO GPU, Jetson Thor 등 NVIDIA 엣지 컴퓨터 전반을 지원한다.

모델은 오토회귀 타워와 디퓨전 타워 두 개의 트랜스포머로 구성된다. 오토회귀 타워는 비전·텍스트 토큰을 처리해 이해·추론을 담당하고, 디퓨전 타워는 비전·오디오·액션 토큰을 처리해 예측·생성을 담당한다. 두 타워는 멀티모달 어텐션 레이어를 공유해 언어, 영상, 오디오, 액션 간 정보를 정렬한다.

Jetson Thor 기준으로 추론 1회당 32개 액션을 생성하며 15 Hz 실시간 제어를 달성한다. 동급 4B 모델 중 VANTAGE-Bench 비전 분석 부문 1위를 기록했다.

액션은 이동(Translation), 회전(Rotation), 조작 상태(Manipulation state)를 포함하는 공통 기하 벡터로 인코딩되어, 차량·카메라·로봇 팔 등 다양한 물리 시스템을 단일 표현으로 통합한다.