cua: AI 에이전트에게 실제 데스크톱 환경을 제공하는 오픈소스 스택

AI 에이전트가 코드나 API를 넘어 실제 GUI를 조작할 때 필요한 인프라를 제공한다. Cua는 격리된 클라우드 데스크톱, 로컬 macOS VM, 그리고 에이전트의 컴퓨터 사용 능력을 평가하는 벤치마크 도구를 하나로 묶었다. 개발자는 자신의 모델과 에이전트를 연결해 복잡한 데스크톱 작업을 수행할 수 있다.

Cua Driver는 macOS, Windows, Linux에서 네이티브 앱과 브라우저를 제어하는 도구를 제공한다. 에이전트가 마우스 포인터를 움직이거나 화면 초점을 빼앗지 않고도 백그라운드에서 작업을 수행할 수 있는 기능이 특징이다. CLI, MCP, 타입이 지정된 SDK를 통해 다양한 에이전트와 연동된다.

Apple Silicon 기반 Mac에서는 Lume를 통해 Virtualization.Framework을 활용해 로컬 VM을 생성하고 관리한다. Cua Fleets는 클라우드에서 격리된 Linux 데스크톱을 프로비저닝해 명령어 실행과 스크린샷 저장을 지원한다. 이러한 환경은 Sandbox SDK를 통해 일관된 인터페이스로 제어된다.

Cua Bench는 컴퓨터 사용 태스크를 구축하고 에이전트를 평가하며 학습용 궤적 데이터를 내보내는 데 사용된다. VM이나 Docker 없이도 시뮬레이션된 태스크를 빠르게 실행해 검증할 수 있다. MIT 라이선스로 공개되어 있으며, 컴퓨터 사용 에이전트 개발과 연구에 필수적인 도구 모음을 제공한다.