NVIDIA, 자율주행·로보틱스·비전 AI를 위한 에이전트 기술로 피지컬 AI 연구의 차세대 시대 개막

피지컬 AI 연구의 핵심 과제는 단순히 강력한 모델을 개발하는 것을 넘어, 실제 세계의 장면을 재구성하고 엣지 케이스 시나리오를 생성하며, 정책을 훈련하고 평가하는 전체 워크플로우를 구축하는 것이다. NVIDIA는 이를 위해 비전 추론, 월드 및 액션 생성을 통합한 세계 최초의 옴니모델인 NVIDIA Cosmos 3와 함께, 연구자들이 모델 역량을 확장 가능한 엔드 투 엔드 워크플로우로 빠르게 전환할 수 있도록 돕는 NVIDIA physical AI skills를 선보였다.

자율주행(AV) 연구 분야에서는 데이터 수집이 어려운 '롱테일(long tail)' 문제를 해결하기 위해 다음과 같은 기술을 제공한다:

• Neural Reconstruction: 플릿(fleet) 데이터를 편집 가능한 3D 장면으로 변환하여 시뮬레이션 및 합성 데이터 생성에 활용한다.
• InstantNuRec: 개별 장면 최적화 없이 이미지로부터 빠른 3D 가우시안 도로 장면 재구성을 지원한다.
• NVIDIA AlpaGym: 수천 개의 GPU에서 확장 가능한 오픈 소스 폐쇄 루프 강화 학습(RL) 프레임워크다.
• NVIDIA OmniDreams: 정책 동작에 실시간으로 반응하는 포토 리얼리스틱 렌더링을 제공하는 행동 조건부 생성 월드 모델이다.

또한, NVIDIA는 320억 개의 파라미터를 가진 추론형 비전-언어-행동(VLA) 모델인 NVIDIA Alpamayo 2 Super를 통해 자율주행 연구를 더욱 고도화하고 있다.