NVIDIA와 KAIST, 시점과 BEV 영상 동시 예측하는 자율주행 월드 모델 BirdDreams 공개
·2026.11.16 09:00
핵심 내용
BirdDreams가 시점과 BEV 영상을 결합해 35% 낮은 오차로 반응적 교통을 예측했다
자세히 보기
- BirdDreams는 단일 카메라 이미지로부터 시점 영상과 개략적인 조감도(BEV) 영상을 동시에 생성하는 자기회귀형 자율주행 월드 모델로, 추론 시 HD 맵이나 주변 차량 상태 입력이 필요 없음
- PhysicalAI-AV 데이터셋에서 OmniDreams 기반 베이스라인 대비 입력된 에고(자차) 궤적 추종 오차가 35% 낮음(3.83m vs 5.88m ADE)
- 에고 액션 입력 없이도 베이스라인 대비 21% 낮은 오차(6.15m vs 7.76m minADE)로 실제 기록된 주행에 더 가까운 궤적을 생성함
- 25명 참여, 375회 쌍대 비교 평가 결과, 57%의 응답자가 주변 차량의 현실적인 동작 면에서 BirdDreams를 베이스라인보다 선호함
아키텍처 및 제어
- 시점 영상용과 BEV용 두 개의 인과적 비디오 확산 변환기(causal video diffusion transformer)가 병렬로 작동하며, 결합된 어텐션(joint attention)을 통해 정보 교환 수행
- 최신 BEV 프레임을 입력 궤적에 따라 이동 및 회전시켜 생성을 위한 소프트 조건으로 변환함으로써 에고 제어 구현
- BEV 스트림은 고정된 미터 스케일로 도로와 차량을 단순한 형태로 표현하여, 시점 스트림이 시각적 단서로 활용하는 명시적인 기하학적 구조 제공
성능 및 평가
- PhysicalAI-AV 및 nuScenes 데이터셋에서 평가 수행
- 3초 시점 Best-of-six minADE는 BirdDreams가 0.295m로, OmniDreams 기반 베이스라인의 0.318m보다 우수함
- 로그 리플레이에 의존하지 않고도 에고 차량을 피하기 위해 주변 차량이 브레이크를 걸거나 차선을 변경하는 등 반응적 교통 행동을 예측 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.