AI2가 MolmoAct 2를 공개했다

AI2가 실세계 로봇용 오픈 파운데이션 MolmoAct 2와 MolmoAct 2-Bimanual YAM 데이터셋을 공개했다. 모델·데이터와 적응형 reasoning 접근을 함께 내놓았고, 훈련 코드는 곧 공개할 예정이다. 새 모델은 작업별 파인튜닝 없이도 여러 조작 작업을 처리하도록 설계됐고, 이전 세대보다 최대 37배 빠르다.

핵심 구조는 Molmo 2-ER 백본과 flow matching으로 로봇 행동을 생성하는 전문가를 잇는 KV-cache bridge다. 약 300만 개의 embodied-reasoning 예제로 추가 학습해 포인팅, 객체 탐지, 다중 이미지 추론, 공간 추론, 이미지·비디오 기반 질의응답을 강화했고, 13개 벤치마크 평균 63.8점으로 GPT-5, Gemini 2.5 Pro, Qwen3-VL-8B, GR-ER 1.5를 앞섰다. MolmoAct 2-FAST Tokenizer는 오픈 소스로 재구현해 함께 공개했다.

속도도 크게 끌어올렸다. 단일 액션 호출은 base model 기준 약 180ms, MolmoAct 2-Think와 adaptive depth reasoning을 쓰면 790ms 수준이며, 이전 MolmoAct의 6,700ms보다 훨씬 빠르다. depth token은 필요한 영역에만 예측해 전체 depth-token 예측 대비 17% 속도를 더 냈고, 그만큼 3D 공간 추론도 더 깊게 가져가면서 효율을 유지했다.

훈련에는 현재 공개된 가장 큰 bimanual tabletop manipulation 로봇 데이터셋인 MolmoAct 2-Bimanual YAM이 중심이 됐다. 두 팔 협업 시연 720시간 이상을 담았고, MolmoAct에서 쓴 로봇 데이터보다 30배 이상 많다. SO-100/SO-101, filtered DROID Franka, Google Robot BC-Z, Fractal, Bridge WidowX, MolmoAct 원본 데이터를 섞어 다양한 팔·카메라·제어 방식을 흡수했다. 라벨 재주석으로 고유 라벨 수도 약 7.1만개에서 14.6만개로 늘렸다.

평가에서도 성과가 뚜렷했다.

• MolmoBot: 평균 20.6% 성공률로 π0.5의 **10.3%**를 앞섰다.
• RoboEval: 0.443으로 π0.5의 0.405보다 높았다.
• Franka zero-shot: 평균 87.1% 성공률로 MolmoBot(48.4%), π0.5(45.2%)를 크게 웃돌았다.
• LIBERO post-training: 97.2%, MolmoAct 2-Think는 **98.1%**를 기록했다.
• Cortex AI 외부 평가: 평균 0.51로 OpenVLA-OFT(0.36), π0.5(0.32), Cosmos Policy(0.16), X-VLA(0.05)를 제쳤다.

배포 단계에서는 자연어 지시와 시각적 trace를 함께 써 로봇 경로를 유도할 수 있게 했고, 두 대의 YAM arms, Intel RealSense D435, 두 대의 D405 카메라, 확장형 마운트, 단순 탁상 워크스페이스를 포함한 참고 하드웨어도 공개했다. Stanford School of Medicine의 Cong Lab self-driving wetlab 파일럿에서는 CRISPR 실험의 샘플 이동과 장비 조작 같은 루틴을 맡으며 가능성을 보였고, 명령 재표현·물체 위치 변화·distractor·물체 대체에 대한 내부 스트레스 테스트도 진행했다. 다만 그리퍼 시야 가림, 제어 지연, 미세 조작, 2D visual trace의 depth 오차 같은 한계는 아직 남아 있다.