pi-computer-use, GUI 자동화 에이전트 확장 공개

pi-computer-use는 AI 에이전트 런타임 Pi의 확장으로, macOS·Windows에서 에이전트가 GUI 전용 데스크톱 앱을 자동화할 수 있게 한다. API나 MCP 서버가 없는 레거시 소프트웨어 자동화를 주요 사용 사례로 명시한다.

동작 루프는 5단계로 구성된다:

• find_roots — 열린 창·브라우저 페이지 탐색
• observe_ui — UI 아웃라인과 불변 stateId 획득
• search_ui / expand_ui / inspect_ui — 상태 탐색
• act_ui — 클릭·입력·스크롤 등 행동 실행

핵심 설계는 불변 상태(stateId) 기반 참조로, 화면이 바뀐 뒤 낡은 좌표를 클릭하는 오류를 방지한다. 행동은 트랜잭션 단위로 처리되며 expect 조건으로 사후 검증(verified / preexisting / failed)이 가능하다.

macOS에서는 접근성·화면 기록 권한을 쓰는 헬퍼 앱(macOS 14 이상), Windows에서는 플랫폼 접근성 API로 동작한다. 브라우저는 CDP 기반 도구(launch_browser, navigate_browser, evaluate_browser)로 동일하게 제어한다.

설치: pi install npm:@injaneity/pi-computer-use / MIT 라이선스.