Mac용 오픈소스 AI 에이전트 'AutoBot' 공개, OSWorld서 OpenAI Sol Max 대비 성능 우위

Autonomous Production 팀이 Mac 환경에서 장시간 실행되는 AI 작업을 실시간 음성으로 제어할 수 있는 오픈소스 에이전틱 하네스 AutoBot을 공개했다. 이 도구는 Native ChatGPT와 통합되어 작동하며, MIT 라이선스로 배포된다.

벤치마크 성능

AutoBot은 주요 에이전트 벤치마크에서 경쟁 모델 대비 우수한 성능을 기록했다.

• OSWorld 2.0: 108개 태스크 기준 Binary Accuracy 32.41%, Partial Accuracy **64.28%**를 달성했다. 이는 OpenAI Sol Max baseline 대비 태스크 완료율이 18.5% 높으며, Anthropic Claude Opus 5 Max를 상회하는 수치다.
• AssistantBench: Hidden-test 리더보드에서 50.70% (181개 태스크)로 1위를 차지했다.

핵심 기술 및 차별점

성능 향상의 핵심 메커니즘은 self-repairing harness, 계층적 디스크 메모리(nightly consolidation), persistent task graphs, 그리고 추론 비용을 절감하는 local CPU orchestration이다. 기존 도구 대비 다음과 같은 운영적 차별점을 제공한다.

• 메모리 경계 관리: 개인, 가족, 업무, 공유 영역(zone)을 분리하고 재사용 규칙을 명시화한다.
• 결과 추적 및 검증: Owner/Destination/Completion 할당을 통해 미완료 내역을 관리하며, 쓰기 전 계정과 내용을 확인하는 검증자(validator) 라벨을 분리한다.
• 5단계 완료 프로세스: Research → Draft → Destination → Readback → Completion 단계를 거치며, 검증 실패 시 쓰기를 차단한다.

운영 한계 및 보안

AutoBot은 단일 Mac 사용자 환경에 최적화되어 있으며, 멀티 테넌트 서비스나 제3자 작업의 성공을 보장하지 않는다. 보안 측면에서 Privacy zones와 validator 분리는 OS 레벨의 샌드박스가 아닌 절차적 규칙에 기반하므로, 민감한 작업에는 별도 기기 인증(MFA)이 필수다. 모든 요청이 로컬에 머무르지 않을 수 있으므로 ChatGPT 데이터 제어 설정 확인이 필요하다.