billion-context: 100K 컨텍스트로 18.7B 토큰 처리

코딩 에이전트와 모델 API 사이에 위치해 대화 기록을 계층적으로 압축하는 프록시다. 모델이 직접 압축 시점과 범위를 결정하며, 하드 트리커테이션 대신 고충실도 요약으로 변환한다. 이를 통해 100K 컨텍스트 윈도우에서도 수십 일간 이어지는 단일 세션을 유지할 수 있다.

기존 호스트 내장 요약기와 달리 압축은 증분적이고 가역적이다. 요약된 범위는 필요 시 즉시 복원되며, 프릭스 캐시 히트율은 95~97%를 유지한다. 압축 자체로 인한 비용 증가는 2% 이하로 제한되어 토큰 비용을 최대 5배 절감한다.

Claude, Codex, Gemini, Zed 등 다양한 클라이언트를 지원하며 네이티브 플러그인 또는 인증서 MITM 방식으로 통합된다. 4.5개월에 걸친 17만 4,000회 이상의 모델 호출을 검증한 프로덕션 환경에서 204,800 토큰 모델의 윈도우 위반은 단 한 건도 발생하지 않았다.

장시간 코딩 세션에서 컨텍스트 오버플로로 인한 세션 중단 문제를 해결한다. RAG 방식보다 LongMemEval-S 벤치마크에서 16.6% 높은 점수를 기록했으며, 독립 세션 비용은 전체 컨텍스트 대비 71.1% 절감했다. 장기 프로젝트나 대규모 코드베이스 작업 시 컨텍스트 관리 부담을 줄여준다.