caveman: 입력 토큰 33.2% 줄이는 로컬 프록시

에이전트가 읽는 데이터 양을 줄여 LLM 비용과 지연을 낮추는 도구다. 기존 방식이 에이전트의 답변만 짧게 만드는 데 그쳤다면, Caveman 2는 도구 스키마, 파일, 로그, 히스토리 등 실제 전송되는 입력 컨텍스트 자체를 압축한다. 고정된 Claude Code 벤치마크에서 프로바이더 보고 입력 토큰을 33.2% 절감하면서도 정답 검증 18건 전부를 통과했다.

로컬 프록시로 동작하며 코드 변경이나 별도 백엔드 서버가 필요 없다. 요청을 선택한 프로바이더로 전달하기 전, 콘텐츠 유형을 감지해 JSON, 로그, 코드, diff 등에 맞는 압축기를 적용한다. 원본 바이트는 디스크에 저장해 두고 필요 시 정확히 복원할 수 있어 안전하다. 측정 결과만 더 작을 때 변환이 실행되며, 실패 시 원본을 그대로 전달한다.

caveman learn 명령어로 로컬에 저장된 에이전트 히스토리를 읽기 전용으로 분석한다. 토큰 소모 지점을 순위대로 나열하고, 각 항목에 대한 수정 제안과 예상 절감 효과를 보여준다. 분석기는 파일을 직접 수정하지 않으며, 승인 후 에이전트가 diff 형태로 수정을 적용하도록 설계되어 있다. 30일간의 예상 비용과 세션별 컨텍스트 깊이도 함께 확인 가능하다.

Claude Code, Codex, Gemini CLI, Aider 등 30개 이상의 에이전트와 호환된다. MIT 라이선스로 제공되는 스킬은 에이전트의 답변을 간결하게 만드는 데 초점을 맞춘다. 반면 BSL-1.1 라이선스의 프록시 엔진은 입력 토큰 절감에 특화되어 있어, 두 제품을 함께 또는 개별적으로 사용할 수 있다. 복잡한 설정 없이 기존 워크플로우에 끼워 넣는 방식으로 도입할 수 있다.