CUA-Lite, 로컬 모델 컴퓨터 사용 공개

CUA-Lite는 모델이 데스크톱 앱, 웹 폼, 모바일 앱을 직접 조작하도록 돕는 컴퓨터 사용 에이전트(CUA) 개발 및 학습을 위한 오픈소스 프레임워크입니다. 모델 하네스, 샌드박스, 데이터, 학습 프레임워크 등 4가지 핵심 요소를 모두 오픈소스로 제공합니다.

주요 구성 요소

• 하네스(Harness): 스크린샷 및 액션 히스토리 관리, 클릭 및 키보드 입력 변환을 담당하는 모듈형 구조입니다. GPT, Claude, Gemini API 모델과 Qwen3-VL, UI-TARS 등 오픈 웨이트 모델 14개 계열을 지원하며, 기존 추론 스택에 쉽게 모델을 추가할 수 있습니다.
• 샌드박스: VM 없이 동작하는 Docker 기반 샌드박스로, 검증 가능한 보상 신호를 갖춘 3만 개 이상의 CUA 태스크를 포함합니다. OSWorld, CUAGym, CUAWorld 등 벤치마크 및 학습 환경을 재현하며, WSL 및 클라우드 인스턴스 등 VM이 불가능한 환경에서도 실행 가능합니다.
• 데이터: 10개 이상의 SFT 데이터셋과 프런티어 CUA의 최신 롤아웃(상호작용 궤적)을 Hugging Face에서 단일 형식으로 무료 제공합니다.

실행 및 학습 프레임워크

단일 에이전트-환경 인터페이스를 통해 로컬 모델을 포함한 다양한 에이전트를 샌드박스에 연결할 수 있습니다. 생성된 롤아웃은 다음 세 가지 용도로 재사용됩니다.

• 평가(Eval): OSWorld, WebArena, AndroidWorld 등 15개 이상의 벤치마크를 통합하여 에이전트 성능을 랭킹합니다.
• SFT: 단일 궤적 형식을 각 모델 어댑터에 맞게 렌더링하여, GPT-5.5의 롤아웃으로 Qwen3-VL을 파인튜닝하는 등 크로스 모델 학습이 가능합니다.
• RL: 학습 신호로 활용하여 강화 학습을 수행합니다.