합성 데이터 없이 로봇 월드 모델을 학습하는 방법

**F.R.A.N.T.Z.**는 합성 데이터나 도메인별 시연 없이 일반적인 단안 영상에서 로봇 월드 모델 학습에 필요한 장면 시맨틱을 추출하는 방법이다. 객체, 평면, 어포던스, 손-팔 운동학, 계량적 3D 포인트 클라우드를 여러 사전학습 모델과 고전 컴퓨터 비전 기법을 조합해 생성한다.

기존 Vision-Language-Action(VLA) 모델은 원시 픽셀, 언어 지시, 모터 행동을 하나의 거대한 모델로 엔드투엔드 학습한다. RT-2, Octo, π0 같은 접근 방식은 수백만 건의 로봇 시연이나 수십억 개의 이미지·텍스트·액션 조합을 필요로 하며, 실제 데이터 부족을 보완하기 위해 시뮬레이터와 디지털 트윈, 생성형 비디오를 활용한다.

이 방식에는 세 가지 구조적 한계가 있다.

• 합성 데이터가 늘어날수록 sim-to-real 격차가 커진다.
• 수십억 파라미터의 블랙박스 구조라 모델 실패 원인을 모듈별로 진단하기 어렵다.
• 업계에서 말하는 ‘제로샷’은 대규모 사전학습을 전제로 한 프롬프트 수준 제로샷인 경우가 많다.

F.R.A.N.T.Z.가 지향하는 것은 도메인 데이터를 한 번도 보지 않는 데이터 수준 제로샷이다. 깊이 추정, 객체 검출, 손 랜드마크 검출처럼 서로 다른 일반 목적의 모델을 조합해 특정 주방이나 조작 작업을 학습하지 않고도 해당 장면을 해석한다.

핵심 구성 요소로는 인터넷 사진으로 학습된 MiDaS의 단안 깊이 추정, 범용 객체 데이터셋으로 학습된 YOLO의 객체 검출, 일반 손 이미지로 학습된 MediaPipe의 손 랜드마크 검출이 사용된다. 여기에 OpenCV 기반의 고전 컴퓨터 비전을 결합해 각 모듈의 출력을 장면 수준의 구조와 의미로 통합한다.

이 접근 방식은 새로운 장면의 어포던스와 사전지식을 수백만 건의 추가 데이터가 아니라 단 한 번의 사람 시연만으로 전이하는 방향을 제시한다. 또한 AWS Graviton에서 OpenCV를 가속하는 COOL 프레임워크와 결합해 비용 효율적인 확장을 노릴 수 있다.

궁극적으로는 픽셀 자체를 예측하는 대신 장면의 의미 표현을 예측하는 JEPA(Joint Embedding Predictive Architecture) 기반 월드 모델로 이어진다. 이는 로봇이 시각적 세부사항 전체를 재현하기보다 객체와 공간 구조, 행동 가능성 같은 중요한 의미를 중심으로 미래 상태를 예측하도록 하는 방식이다.