NVIDIA, GPT-6 Astra로 Omniverse 시뮬레이션 구축 시연

개발자들이 NVIDIA Omniverse 라이브러리와 프런티어 AI 모델을 결합해 복잡한 시뮬레이션 제작을 가속화하고 있다. 자연어 지시로 GPT-6 Astra를 제어해 에셋을 조립하고 물리 및 렌더링을 연결하며, 수동 코딩 없이도 장면 동작을 검증할 수 있다.

휴머노이드 및 자율주행 시뮬레이션

Omniverse 제품 관리자 Frank DeLise는 Astra를 활용해 창고 환경용 휴머노이드 시뮬레이터를 구축했다. 에이전트는 물리 엔진 ovphysx, 장면 업데이트 ovstage, 렌더링 ovrtx, 인터페이스 ovui를 연결해 1인칭 및 3인칭 뷰에서 로봇을 제어하는 애플리케이션 코드를 생성했다.

Doyub Kim은 San Francisco의 Market Street를 기반으로 재사용 가능한 시뮬레이션 환경 Zero to Alpamayo를 만들기 위해 Astra를 지시했다. 이 워크플로우는 에셋 생성, 교통 흐름, Alpamayo 주행 모델을 통합했다. 별도의 Cosmos3-Nano 실험에서는 날씨와 조명을 변경해 조건별 주행 모델의 반응을 비교했다.

디지털 트윈 및 로봇 테스트

Ashley Reid는 Astra와 Claude Fable 5를 사용해 시뮬레이션된 카메라 및 LiDAR 출력과 기록 데이터를 비교하며 디지털 트윈을 생성하고 개선했다. 3일 동안 에이전트는 센서 지표에 따라 지오메트리 및 재질 불일치를 해결하도록 OpenUSD 장면을 수정했다.

Tae Kim은 Robo Olympics 개발을 주도했으며, Astra는 Newton Physics Engine과 NVIDIA Warp를 사용해 Unitree G1 휴머노이드용 컨트롤러를 구축했다. 한 테스트에서 시뮬레이션 로봇은 100회 시도 중 64회 허들을 넘었고, 타이밍 및 제어 개선을 위한 피드백을 제공했다.

설계, 툴링 및 웹 애플리케이션

Jens Jebens는 Astra를 사용해 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성했다. 에이전트는 서스펜션 볼트에 도달하기 위한 로봇용 커스텀 렌치를 설계했으며, 분해 프로세스 시뮬레이션에 성공했다.

Nic Johns는 Astra에 NASA 에셋을 조립해 텔레메트리가 포함된 국제우주정거장 모델을 만들라고 지시했으며, 준비 작업에는 Blender를, 브라우저 스트리밍에는 Omniverse 라이브러리를 사용했다. Chirag Majithia는 Astra를 지시해 스테레오 카메라 캡처를 편집 가능한 OpenUSD 스튜디오로 변환했으며, 재구성에는 PyCuSFM, FoundationStereo, nvblox를, 상호작용 테스트에는 USD Content Agents를 활용했다.