Meta·Hugging Face, 에이전트 평가용 OpenEnv 공개

AI 에이전트의 연구 성과와 실제 운영 환경 간의 격차를 줄이기 위해 Meta와 Hugging Face가 협력하여 개발한 OpenEnv 프레임워크가 공개되었다. 시뮬레이션이 아닌 실제 시스템을 대상으로 에이전트의 성능을 평가하는 데 중점을 둔다.

OpenEnv는 OpenAI의 Gymnasium과 유사한 API 구조를 채택하고 있으며, MCP(Model Context Protocol) 인터페이스를 통해 브라우저, 코드 저장소, 캘린더 등 실제 도구와 연결된다. 이를 통해 에이전트가 복잡한 단계의 추론(long-horizon reasoning)과 상태 유지 능력을 갖추었는지 검증할 수 있다.

특히 Turing이 기여한 Calendar Gym은 실제 운영 수준의 캘린더 관리 환경을 제공하는 벤치마크다. 에이전트는 다음과 같은 까다로운 제약 조건 하에서 작업을 수행해야 한다:

• 액세스 제어(Access Control): 사용자 및 캘린더별 권한 관리
• 시간적 추론(Temporal Reasoning): 복잡한 일정 및 시간 관계 이해
• 멀티 에이전트 협업: 여러 사용자 간의 조정 및 불완전한 정보 처리

이 프레임워크는 에이전트 평가의 기준을 '제어된 데모에서의 작동 여부'에서 '실제 환경에서의 안정적 운영 가능 여부'로 전환하는 것을 목표로 한다.