Mage-VL-Cowork: 마이크로소프트 Mage-VL-Cowork, GUI와 터미널을 오가는 하이브리드 에이전트

마이크로소프트가 공개한 Mage-VL-Cowork는 시각-언어 모델(VLM) 기반의 컴퓨터 사용 에이전트입니다. 단순한 텍스트 생성을 넘어 화면의 GUI와 터미널 환경을 동시에 이해하고 조작하는 하이브리드 에이전트 구조를 갖추고 있습니다.

1 / 2

이 모델은 GUI 에이전트, 코딩 에이전트, 터미널 에이전트 역할을 하나의 프레임워크에서 수행하도록 설계되었습니다. 강화학습(RL)을 통해 학습되어 OSWorld, WebVoyager 등 실제 컴퓨터 작업 벤치마크에서 검증된 성능을 보입니다.

기존의 단일 도메인 특화 모델과 달리, 마우스 클릭과 같은 GUI 조작부터 코드 작성 및 터미널 명령 실행까지 폭넓은 작업을 처리합니다. LLaVA-OneVision2 아키텍처를 기반으로 하며, Apache 2.0 라이선스로 배포되어 오픈소스 생태계에서 활용 가능합니다.

컴퓨터 사용(CUA) 자동화나 복잡한 멀티스텝 작업을 처리하는 AI 에이전트를 구축하려는 개발자에게 적합합니다. Transformers 라이브러리를 통해 직접 추론을 실행하거나, Hugging Face 엔드포인트를 통해 API 형태로 서비스화할 수 있습니다.