Meta, 웨어러블 AI 어시스턴트용 InteractiveWorld 시뮬레이터 공개

Meta(facebookresearch)가 GitHub에 InteractiveWorld 저장소를 공개하여, 상호작용형 멀티모달 대형 언어 모델(MLLM) 어시스턴트를 구축하고 테스트할 수 있는 검증 가능한 인간 중심 환경을 제공함
시스템은 두 층으로 구성되며, InteractiveWorld 시뮬레이터는 어시스턴트가 1인칭 시점을 보고 인간 에이전트가 명령에 반응하는 폐쇄 루프 3D 환경을 생성하고, InteractiveBench는 6개 카테고리에 걸쳐 120개의 고정된 다중 턴 태스크로 구성된 벤치마크임
평가는 텍스트 판단이 아닌 세계 상태 검증에 기반하며, 벤치마크는 Gemini 3.1 Pro를 고정된 인간 모델로 사용하고 최종 세계 상태가 모든 목표를 충족해야 통과하도록 설정함
시뮬레이터는 NVIDIA GPU(A100 80 GB 테스트)가 장착된 Linux 환경에서 동작하며, Isaac Sim 5.1과 OmniGibson 3.9.0을 활용하고 짧은 동사-목적어 명령을 통해 제어되는 36개의 인간 행동 계열을 지원함
사용자는 로컬 오픈소스 모델(vLLM 또는 Ollama을 통해)이나 호스팅 API(OpenAI, Anthropic, Gemini)로 평가를 실행할 수 있으며, 태스크는 라운드 로빈 방식으로 GPU에 분할됨
커스텀 태스크는 TaskPack JSON 파일로 정의되며 릴리스 트리 무결성을 유지하기 위해 저장소 외부에 보관해야 하고, 프로젝트는 CC BY-NC 4.0 라이선스를 적용함

핵심 내용