Mixdog, Codex CLI와 Claude Code 대비 비용 19-39% 절감

개요

Mixdog는 LLM 기반 코딩 에이전트의 토큰 사용량과 비용 효율성을 최적화하도록 설계된 오픈소스 AI 코딩 하네스다. 데스크톱, CLI, 브라우저 인터페이스에서 세션, 에이전트, 워크플로우를 관리하는 통합 작업 공간을 제공한다. 이 프로젝트는 Apache-2.0 라이선스를 따르며 Anthropic, OpenAI, Google Gemini, xAI 등 주요 프로바이더를 지원한다.

벤치마크 성능

프로젝트는 공식 Harbor 검증기를 사용한 Terminal-Bench 2.1 결과를 공개했다. 특정 모델에 대해 Mixdog과 네이티브 CLI 도구를 비교했으며, 테스트는 동일한 작업과 모델을 사용하되 하네스만 변경했다.

• GPT-5.6 Sol xhigh (vs. Codex CLI):

  • 비용: Mixdog은 $0.476/trial로 Codex CLI의 $0.782/trial보다 39% 낮았다.
  • 컨텍스트: Mixdog의 최종 컨텍스트 중앙값은 18.5k 토큰으로 Codex CLI의 34.3k 토큰보다 46% 적었다.
  • 정확도: Mixdog은 86.5% (385/445)를 기록해 Codex CLI의 86.1% (383/445)를 소폭 상회했다.
  • 속도: Mixdog은 415s/trial, Codex CLI는 437s/trial로 유사한 성능을 보였다.

• Claude Opus 5 (vs. Claude Code):

  • 비용: Mixdog은 $104.29/run으로 Claude Code의 $129.21/run보다 19% 낮았다.
  • 컨텍스트: Mixdog의 최종 컨텍스트 중앙값은 27.6k 토큰으로 Claude Code의 38.2k 토큰보다 28% 적었다.
  • 정확도: Mixdog은 79/89점을 받아 Claude Code의 77/89점보다 높았다.
  • 속도: Mixdog은 610s/trial로 Claude Code의 708s/trial보다 1.16배 빨랐다.

주요 효율성 메커니즘

Mixdog은 다음과 같은 기술적 전략을 통해 오버헤드를 줄인다.

• 컨텍스트 관리: 경량 시스템 지침, 구조화된 컴팩션, 유휴 시간 컨텍스트 축소를 통해 토큰 사용량을 최소화한다.
• 코드 인텔리전스: tree-sitter와 ast-grep을 통합해 네이티브 코드 파싱을 지원하며, 파싱은 31개 언어, 심볼/임포트 추출은 24개 언어를 지원한다. 이를 통해 전체 파일을 덤프하지 않고도 구조적 쿼리가 가능하다.
• 캐싱: 처리된 컨텍스트를 재사용하기 위해 프로바이더 인식 캐싱을 구현했지만, 캐시된 토큰도 컨텍스트 한도에 포함된다.
• 툴링: 불필요한 데이터 전송을 피하기 위해 결과를 제한한 전용 도구와 온디맨드 프롬프트 로딩 기능을 제공한다.

기능 및 통합

• 작업 공간: 데스크톱 앱에는 Monaco 에디터, Git 통합, 터미널, 파일 탐색기가 포함된다. 데스크톱, TUI, 페어링된 브라우저 간 다중 기기 세션 연속성을 지원한다.
• 코드 외 기능: Browser Use (Chromium), Computer Use (Windows), 문서/이미지/비디오 생성을 지원한다.
• 로컬 실행: NVIDIA GPU가 장착된 Windows x64에서 모델을 실행하는 Mixdog Local Provider를 포함해 별도의 서버 설정이 필요 없다.
• 확장성: MCP 서버, 스킬, 훅, 플러그인을 지원한다. 워크플로우와 에이전트는 Markdown 파일 (WORKFLOW.md, AGENT.md)로 정의한다.