agent-desktop: 픽셀 추측 대신 OS 접근성 트리 기반 데스크톱 자동화

AI 에이전트가 데스크톱 앱을 조작할 때 픽셀 매칭 대신 OS 접근성 트리를 직접 읽는 도구다. Rust로 작성된 이 CLI와 C 라이브러리는 macOS, Windows, Linux에서 동작하며, 화면의 실제 UI 구조를 JSON 형태로 반환한다. 각 요소에는 고유한 ref가 부여되어 에이전트가 특정 대상에 정확히 작용할 수 있다.

에이전트는 스냅샷에서 받은 ref를 이용해 클릭이나 텍스트 입력을 수행하고, 다시 스냅샷을 찍어 결과를 검증한다. UI가 변경되면 STALE_REF 오류를 반환해 재시도하도록 유도하며, 이는 픽셀 기반 추측보다 안정적이고 재시도 가능한 동작을 보장한다. macOS에서는 네이티브 접근성 객체를 유지하여 삭제된 행이 동일 식별자를 가진 다른 행으로 잘못 해석되는 것을 방지한다.

56개의 운영 명령어를 제공하며, 스냅샷, 클릭, 키보드 입력, 클립보드 관리, 앱 및 창 제어까지 폭넓게 지원한다. 기본적으로 헤드리스 모드로 포인터 이동이나 포커스 변경 없이 접근성 API를 통해 동작하지만, 필요 시 --headed 플래그로 물리적 입력도 허용한다. 모든 명령은 JSON 엔벨로프를 출력하여 에러 코드와 재시도 가능 여부를 명확히 전달한다.

에이전트 하니스에 스킬을 설치하거나 AGENTS.md에 지침을 추가해 바로 활용할 수 있다. FFI 라이브러리를 통해 프로세스 내에서 직접 호출할 수도 있어 CLI 실행 오버헤드를 줄일 수 있다. 데스크톱 자동화나 컴퓨터 유스 에이전트를 구축하는 개발자에게 안정적인 UI 조작 기반을 제공한다.