HuggingFace, 범용 에이전트 'JAT' 공개

HuggingFace가 범용 에이전트(Generalist Agent)를 목표로 하는 Jack of All Trades (JAT) 프로젝트를 공개했다. 이 프로젝트는 DeepMind의 Gato 연구를 오픈 소스로 재현하며, 멀티모달 Transformer 모델을 통해 다양한 의사결정 태스크를 수행한다.

주요 공개 사항은 다음과 같다:

• JAT 데이터셋: 범용 에이전트 학습을 위한 최초의 데이터셋으로, 수십만 개의 전문가 트래젝토리(expert trajectories)를 포함한다.
• JAT 모델: 비디오 게임, 로봇 제어, 내비게이션 등 다양한 환경에서 작동하는 Transformer 기반 에이전트다.
• 전문가 RL 에이전트: Atari, BabyAI, Meta-World, MuJoCo 등 다양한 환경에서 SOTA 성능을 달성한 에이전트들을 Hugging Face Hub에 출시했다.

JAT의 아키텍처는 Transformer를 기반으로 하며, 관측값, 행동, 보상을 순차적으로 인터리빙(interleaving)하여 처리한다. 이미지(CNN/ViT), 연속적 벡터(Linear), 텍스트(GPT-2) 등 다양한 모달리티를 통합적으로 지원하여 복합적인 태스크 수행이 가능하다.