Pantheon, 시간당 10달러로 100만 개 UMI 데이터셋 구축… 기존 벤치마크 압도

Pantheon 팀이 맞춤형 하드웨어와 Argus 파이프라인을 활용해 100만 개 이상의 고유 작업을 8주 만에 수집한 세계 최대 규모의 Universal Manipulation Interface (UMI) 데이터셋을 공개했다. 이 프로젝트는 시간당 10달러의 수집 비용을 달성해, 기존 외부 데이터 구매 비용인 60~150달러 대비 대폭 절감했다. 이는 기존 모방 학습 데이터셋의 작업 희소성 한계를 극복하고 범용 로봇 파운데이션 모델 개발을 지원하기 위한 것이다.

수집 전략 및 데이터 품질

팀은 다양성과 견고성을 확보하기 위해 다각적인 수집 방식을 채택했다. Freeform Collection은 운영자가 테이블 위 15개 물품으로 비각본 작업을 수행하며 Argus 어노테이션 파이프라인을 통해 밀도 높은 작업 라벨을 생성하는 방식이다. 이 방법은 높은 처리량과 환경 다양성을 우선시했으나, 초기에는 세밀한 롱테일 동작이 부족했다. 이를 보완하기 위해 Scripted Collection은 Nomos 플랫폼을 활용해 물체 카탈로그와 조작 프리미티브를 결합, 수백만 개의 물리적으로 유효한 고유 작업을 생성했다.

또한 데이터셋에는 복귀 행동을 학습시키기 위한 Failure Data가 포함되어 놓친 그립이나 조기 드롭과 같은 실패 에피소드를 포착한다. In-the-wild Data는 중앙 사무 공간의 환경적 제약을 극복하기 위해 테더가 없는 하드웨어로 수집되었다. 결과적으로 이 데이터셋은 기존 데이터셋과 달리 성공한 각본 시연에 국한되지 않고 넓은 세계 상태와 실패 모드를 포괄한다.

맞춤형 하드웨어 및 인프라

Pantheon은 대량 생산과 원격 조작을 최적화하기 위해 UMI Gripper의 3세대 제품을 개발했다. 3세대 그리퍼는 최소한의 조립, 한 쌍당 11달러의 생산 비용(외부 견적 80~110달러 대비), 그리고 시판 카메라 모듈과의 호환성을 특징으로 한다. 맞춤형 펌웨어는 추가 센서 없이 다중 카메라 동기화 및 메타데이터 첨부를 가능하게 한다.

월 2 PB의 방대한 데이터 볼륨을 처리하기 위해 팀은 맞춤형 인프라 스택을 구축했다:

• Hades: SF 사무실 근처 데이터 센터에 위치한 20 PB+ 베어메탈 스토리지 클러스터로, 하이퍼스케일 오브젝트 스토리지의 520만 달러 대신 연간 스토리지 비용을 10만 달러로 줄였다.
• Styx: 인터넷 대역폭 병목을 완화하기 위해 운영 현장과 함께 배치된 1 PB 로컬 스토리지 클러스터.
• Pallas: RTX 5080 GPU를 탑재한 게이밍 PC로, 1.9배의 실시간 처리량으로 비디오 디코딩 및 재인코딩을 수행하며 프라이빗 DIA를 통해 일일 최대 90 TB의 데이터 전송을 지원한다.

벤치마크 성능 및 확장성

이 데이터셋은 고유 작업 라벨 측면에서 기존 공개 UMI 벤치마크를 크게 능가한다. Pantheon은 2026년 8월 3일부터 9월 28일까지 1,089,403개의 고유 작업을 기록했다. 비교 대상인 Hy-UMI는 992개, HiFi-UMI-2K는 588개, FastUMI-100K는 30개에 불과했다. 팀은 현재 속도를 유지할 경우 2027년까지 1,200만 개의 고유 작업을 확보할 수 있으며, 선형 외삽 시 최대 2,510만 개까지 가능할 것으로 전망한다. 향후 계획에는 전 세계 수천 명의 운영자를 참여시켜 데이터 수집을 확대하기 위한 앱 기반 시스템이 포함된다.