에이전트 새기준

Holo3는 **OSWorld-Verified 78.85%**를 기록하며 desktop computer use benchmark에서 새로운 기준을 세웠다.

모델은 10B active parameters(총 122B)로 동작하며, 대형 폐쇄형 모델 대비 더 낮은 비용을 목표로 한다. 가중치는 Apache 2.0 라이선스로 Hugging Face에 공개됐고, API는 free tier로도 제공된다.

핵심은 agentic learning flywheel이다.

• Synthetic Navigation Data: 인간과 생성된 지시문으로 시나리오별 네비게이션 예제를 생성
• Out-of-Domain Augmentation: 예외 상황까지 대응하도록 시나리오를 프로그램적으로 확장
• Curated Reinforcement Learning: 필터링과 RL로 샘플을 선별·강화

훈련용으로는 실제 기업 시스템을 모사한 Synthetic Environment Factory를 만들었다. 코딩 에이전트가 시나리오 명세를 바탕으로 웹사이트를 처음부터 생성하고, 검증 스크립트로 end-to-end task 가능 여부를 확인한다.

평가는 H Corporate Benchmarks로 진행됐다. 총 486개의 multi-step 실무형 작업으로 구성되며, 범주는 다음과 같다.

• E-commerce
• Business software
• Collaboration
• Multi-App

특히 Multi-App 작업은 PDF에서 장비 가격을 읽고, 직원별 잔여 예산과 대조한 뒤, 각자에게 승인 또는 거절 이메일을 자동 발송하는 식의 긴 호흡 워크플로우를 포함한다. 단일 앱 작업뿐 아니라 여러 시스템을 오가며 상태와 의도를 유지하는 능력을 겨냥한 설계다.

결과적으로 Holo3는 단일 애플리케이션 벤치마크에서 경쟁 모델과 Qwen3.5 계열을 앞섰다고 주장하며, 특화된 학습 파이프라인이 큰 파라미터 수보다 더 중요한 성능 차이를 만들 수 있다고 강조한다. 다음 단계로는 Adaptive Agency를 제시해, 모델이 익숙하지 않은 새 기업용 소프트웨어까지 실시간으로 학습해 다루는 방향을 예고했다.