일반적인 목표 조건부 Minecraft 모델 (A General Goal-Conditioned Minecraft Model)

Pantograph는 로봇 공학의 데이터 부족 문제를 해결하기 위해 인터넷 규모의 비디오 데이터를 활용한 새로운 학습 방식을 제안합니다. 기존에는 사후 학습(Post-training) 단계에서 목표 지향성을 학습시켰으나, 이 모델은 사전 학습(Pretraining) 단계에서부터 목표 지향적 행동을 학습하여 복잡한 목표 달성 능력을 크게 향상시켰습니다.

주요 특징은 다음과 같습니다:

• Pan 모델: 4B 파라미터 규모의 모델로, 전투, 탐험, 플랫폼 게임 수행, 구조물 건설 등 다양한 작업을 수행합니다.
• Hindsight Relabeling: 비디오의 후반부 장면을 목표(Goal)로 설정하는 방식을 통해 보상 함수 없이도 목표 지향적 행동을 학습합니다.
• 학습 데이터: 약 50만 시간의 Minecraft 플레이 비디오로 사전 학습을 진행한 후, 2천 시간의 액션 시퀀스 데이터로 사후 학습을 수행했습니다.
• 범용성: 학습 과정에서 액션 정보 없이 상태(State) 정보만으로 사전 학습을 진행하여, 새로운 환경에서도 높은 일반화 성능을 보입니다.