iphone-use, AI 에이전트 iPhone 제어 지원

iphone-use가 MIT 라이선스로 공개된 오픈소스 도구로, AI 에이전트가 실제 iPhone을 제어할 수 있도록 지원한다. 특히 은행, 결제, 건강 앱처럼 공개 API가 없는 애플리케이션을 타겟팅한다. 이 시스템은 화면을 텍스트로 제공하며, WebDriverAgent를 통해 탭, 입력, 스크롤 동작을 수행한다.

핵심 기능 및 피드백

일반적인 자동화와 달리 iphone-use는 모든 명령에 대해 applied, not sent, unknown과 같은 상태 값을 반환하여 실행 성공 여부에 따라 로직을 분기할 수 있게 한다. 스크린샷을 차단하는 앱(예: 결제 인터페이스)의 경우 wireframe 표현을 대신 반환한다.

성능 및 통합

이 도구는 HTTP API와 21-tool MCP server를 포함하며, Claude Code와 호환되어 브라우저나 iOS 앱으로 원격 제어가 가능하다. 모든 요청 시간을 측정하는 최적화를 통해 tap-and-settle 시간을 8.5 s에서 4.2 s로 단축했다. 한 번 완료된 작업은 모델 토큰을 소모하지 않고 재생 가능한 플로우로 기록할 수 있다.

요구 사항

iphone-use 실행을 위해서는 Xcode가 설치된 Mac과 USB로 연결된 iPhone이 필요하다.