phone-harness, 아이폰 자동화 도구 공개

phone-harness는 iOS 자동화에 필요한 복잡한 설정 과정인 Xcode 프로젝트 서명 및 WebDriverAgent 설치를 생략하고, macOS의 iPhone 미러링 기능을 통해 AI 에이전트가 실제 기기를 직접 조작할 수 있게 하는 도구다.

이 도구는 Vision 프레임워크 기반 OCR으로 화면 텍스트와 좌표를 인식하고, HID 계층의 CGEvent를 주입하여 탭, 스크롤, 텍스트 입력 등 실제 터치 동작을 수행한다. 접근성 트리나 AppleScript가 미러링 영상 스트림을 인식하지 못하는 한계를 극복하기 위해 화면 캡처와 원시 HID 이벤트 주입 방식을 채택했다.

Python으로 작성되며, 백그라운드 데몬 없이 매 실행이 독립적으로 동작한다. 에이전트가 실행 중 필요한 기능을 agent_helpers.py에 직접 작성해 확장할 수 있도록 설계되어 있으며, 메시지 전송이나 결제 등 위험한 동작 전에는 반드시 사용자 동의를 구하도록 안전 장치가 내장되어 있다.