NVIDIA, 임의 리그 대상 영상 및 3D 모션 동시 생성 모델 JCA 공개

JCA는 텍스트 프롬프트에서 임의의 위상 구조를 가진 리그에 대해 영상과 동기화된 3D 모션을 동시에 생성하며, 기존 모델들이 인간 골격이나 2D 포즈 삼각 측량으로 제한되었던 것과 다름
아키텍처는 모션 모델을 영상 생성기와 분리하고 양방향 크로스 어텐션 레이어로 연결하여, 모션 모델이 모션 전용 데이터로부터 학습할 수 있도록 함
조인트 로컬라이제이션 헤드가 영상 프레임 내의 조인트 위치를 예측하여 카메라를 복원하고 씬 내에서 3D 모션을 등록함
학습에는 생성형 영상 편집기, 인간 영상, 로봇 영상 데이터셋(OiV, OpenVid, HAA500, HumanML3D, BONES-SEED, DROID, RoboCerebra, TAVIS, ALOHA 포함)에서 선별된 약 20만 쌍의 데이터 활용
모델은 씬 인식 애니메이션, 키프레임 제어 모션, 영상에서 모션 복원, 모션에서 영상 생성을 지원함

핵심 내용