AllenAI ToyBlocks, 시뮬레이션-실물 이전 성공률 81.1% 달성

• AllenAI(Ai2)가 로봇 팔과 테이블 위 블록 조작을 위한 오픈 소스 시뮬레이션 프레임워크 ToyBlocks를 출시함. 이는 제어된 로봇 학습을 위한 FoundationWorlds 프레임워크의 첫 사례임.
• 초기 데이터 릴리스에는 약 1,600시간의 로봇 실행 데이터와 1억 4,400만 프레임에 달하는 85,336개의 장기 시연(long-horizon demonstrations)이 포함됨.
• Franka FR3 팔을 활용한 제로샷 시뮬레이션-실물(Sim-to-Real) 이전 실험에서 ManiFlow는 실물 성공률 81.1%(시뮬레이션 80.0%)를 기록함. 계층형 Molmo 2 + ManiFlow 시스템은 실물 성공률 50.0%(시뮬레이션 55.5%)를 달성함.
• 프론티어 모델(Claude Opus 5.5, Claude Fable 5.1)은 블록 쌓기 작업 30/30을 해결하고 검색-철자 작업에서 63%의 성공률을 보임. 반면 저수준 VLA 모델(ManiFlow, π0.5, MolmoAct 2)은 학습 범위 밖에서 낮은 일반화 성능을 보임.

Technical Components

• Isaac Lab에서 강화 학습과 모션 플래닝을 통해 텔레오퍼레이션을 피하기 위해 특권 시뮬레이터 정보를 활용해 스킬을 생성함.
• 단일 GPU에서 24배 실시간 성능을 발휘하는 태스크-모션 플래너(TAMP)를 통해 데모를 생성함.
• 평가 지표에는 성공률, 실행 속도, 가해진 힘, 작업 진행도가 포함됨.

World Model Evaluation

• 블록 운동과 작업 결과를 예측하는 가장 정확한 비디오 예측 모델로 Wan 2.2(50억 파라미터)가 확인됨.
• Wan 2.2에서 생성한 100개의 모델 기반 궤적을 추가하자 미확인 영역에서의 정책 성공률이 19%에서 78%로 상승함.
• 에이전틱 시뮬레이션과 잠재 예측을 위해 Astra와 LeWM 모델을 테스트했으며, LeWM은 전체 궤적에서 드리프트를 보임.