Vercel Labs, 접근성 트리 기반 데스크톱 제어 도구 agent-desktop 출시

• Vercel Labs가 macOS, Windows, Linux에서 AI 에이전트가 데스크톱 앱을 제어할 수 있는 CLI 및 C 라이브러리 agent-desktop를 출시함. 스크린샷이나 픽셀 매칭 대신 OS 접근성 트리를 읽는 방식임.
• 시스템은 JSON 스냅샷 내 UI 요소에 고유한 ref를 할당하며, 에이전트는 이 ref를 통해 루프 방식으로 상호작용함. UI가 변경되면 오래된 ref나 모호한 대상은 거부함.
• 기본적으로 포인터를 이동하지 않고 접근성 API를 통해 헤드리스로 작동하며, 물리적 입력 시뮬레이션을 위한 --headed 플래그를 지원함.
• 프로젝트에는 60개의 명령어(운영용 56개), stdio를 통한 MCP 지원, 인프로세스 통합용 C 라이브러리(libagent_desktop_ffi)가 포함되며 Apache-2.0 라이선스를 적용함.

Platform Requirements

• macOS: AX API를 사용하는 macOS 13 이상(Intel/Apple Silicon) 필요함.
• Windows: UI Automation을 사용하는 Windows 10 1809 이상(x64/ARM64) 필요함.
• Linux: X11 또는 Wayland에서 AT-SPI를 사용하는 Ubuntu 24.04 이상(x86_64/aarch64) 필요함.

Integration and Security

• 에이전트는 agent-desktop skills get desktop을 통해 사용 가이드를 가져오고, desktop_snapshot 및 desktop_click 같은 MCP 도구를 통해 통합할 수 있음.
• 보안 조치로는 민감한 명령어의 프로세스 인자 노출 방지를 위해 --stdin으로 텍스트를 파이프링하는 방식과, PII 포함 가능성을 이유로 스냅샷이나 클립보드 데이터 로깅을 경고하는 내용이 포함됨.