GUI 에이전트 평가 도구 ScreenSuite 출시

HuggingFace가 **Vision Language Models(VLMs)**의 에이전트 능력을 다각도로 평가할 수 있는 통합 벤치마크 스위트인 ScreenSuite를 공개했다.

ScreenSuite는 GUI 에이전트의 핵심 역량을 다음 네 가지 범주로 분류하여 평가한다:

• Perception (인지): 화면에 표시된 정보를 정확하게 파악하는 능력
• Grounding (그라운딩): 요소의 위치를 이해하여 정확한 지점을 클릭하는 능력
• Single-step actions (단일 단계 동작): 한 번의 동작으로 지시를 수행하는 능력
• Multi-step agents (다단계 에이전트): 여러 단계를 거쳐 고차원적인 목표를 달성하는 능력

이 스위트는 모바일, 데스크톱, 웹 환경을 아우르는 13개의 벤치마크를 통합하여 제공한다. 특히 다단계 에이전트 평가의 기술적 난제를 해결하기 위해 E2B 데스크톱 원격 샌드박스를 지원하며, Docker를 통해 Ubuntu나 Android 가상 머신을 쉽게 실행할 수 있는 새로운 옵션을 도입했다.