에이전트 평가용 Gaia2 및 ARE 공개

HuggingFace가 기존 GAIA 벤치마크를 계승하여, 더욱 복잡하고 실제적인 에이전트 행동을 분석할 수 있는 Gaia2와 실행 환경인 **ARE(Meta Agents Research Environments)**를 공개했다.

Gaia2는 기존의 읽기 전용(Read-only) 방식에서 벗어나, 에이전트가 직접 정보를 수정하고 상호작용하는 읽기 및 쓰기(Read-and-write) 중심의 벤치마크다. 1,000개의 새로운 인간 제작 시나리오를 통해 다음과 같은 능력을 평가한다:

• 실행 및 도구 사용: 다단계 지시 이행 및 API 활용
• 모호성 처리: 상충하는 요청에 대한 명확화 능력
• 적응성 및 노이즈 내성: 환경 변화 및 API 실패에 대한 대응
• 시간적 추론: 시간 제약이 있는 작업 수행
• 에이전트 간 협업: 에이전트 간의 직접적인 통신

함께 공개된 ARE는 에이전트가 사용할 수 있는 스마트폰 모형(Smartphone mockup) 환경을 제공한다. 이 환경에는 이메일, 캘린더, 연락처, 파일 시스템 등 실제 앱과 유사한 도구들이 포함되어 있으며, 에이전트의 모든 상호작용은 **구조화된 트레이스(Structured traces)**로 기록되어 JSON 형태로 내보낼 수 있다. 이를 통해 개발자는 에이전트의 사고 과정, 도구 호출, 응답 지연 시간 등을 상세히 디버깅할 수 있다.

Gaia2 데이터셋은 CC BY 4.0 라이선스로, ARE 프레임워크는 MIT 라이선스로 제공된다.