NVIDIA, Physical AI 시각 계획 프레임워크 VFlash 공개

• NVIDIA LPR가 Physical AI용 System-1 VLM 시각 계획 프레임워크 VFlash를 출시함. 기존 오토레그레시브 디코딩을 시각 프리미티브(트랙, 박스, 점)의 범용 디코딩으로 대체함.
• VFlash는 3개 로봇 데이터셋에서 평균 3D 변위 오차(ADE)를 42.6% 감소시킴. InternA1에서는 15.3cm에서 6.2cm로 59% 개선, AgiBot에서는 10.5cm에서 4.1cm로 61% 개선됨.
• 엣지 하드웨어에서 지연 시간이 크게 단축됨. Jetson Thor에서 로봇 추론 5배, 주행 추론 3배 가속, DGX Spark에서는 각각 12배, 22~49배 속도 향상 달성함.
• WAM(Cosmos-Predict2.5 기반)과 통합 시 MolmoSpaces에서 평균 70.2% 성공률을 기록함. 이는 62.6% 베이스라인 및 61.0% 오토레그레시브 계획을 상회함.

Technical Mechanism

• 경량 드래프터(5층 비인과적 트랜스포머)가 동결된 VLM 컨텍스트를 사용하여 단일 병렬 패스에서 완전한 시각 프리미티브를 예측함.
• 대상 VLM이 컨텍스트를 업데이트하고 다운스트림 액션 모델용 특징을 추출하며, 정렬을 통해 디코딩 블록이 프리미티브 경계와 일치하도록 보장함.

Performance Benchmarks

• DAVIS에서 VFlash는 MolmoMotion-AR 대비 평균 변위 오차를 27% 감소시키고, H100에서 단일 롤아웃 생성 속도를 25배 빠르게 함.
• COCO와 Dense200 객체 정밀화에서 박스 생성률이 2.6~2.8배 증가했으며, 오토레그레시브 대상과 유사한 F1 점수를 유지함.
• NAVSIM과 Waymo 주행 성능에서 VFlash-RL은 PDMS 90.7, ADE3s 1.22m를 달성하여 다른 RL 기반 플래너와 경쟁력을 유지함.

Deployment and Optimization

• Jetson Thor, DGX Spark, H100에서 TensorRT-Edge-LLM 및 TensorRT 엔진 최적화 적용함.
• KV 캐시를 사용하는 FP16 VLM 엔진(양자화 없음)과 특정 어텐션 커널(비전/프리필은 FMHA, 디코딩/검증은 XQA)을 사용함.
• 액션 모델은 Thor와 Spark에서 헤드 차원 128 CuTe 어텐션을 갖춘 BF16 TensorRT 엔진을 활용함.