LLM 컨텍스트 중복 제거 도구 공개
Local-first LLM context dedup: 22-71% chunk overlap measured across 22M passages (2 arXiv papers). MCP server, MIT, 250KB binary, zero telemetry.
·2026.05.13 23:18
LLM 컨텍스트 내 중복 데이터를 제거해 유효 토큰 용량을 늘리는 도구가 공개되었다.
LLM 에이전트 및 RAG 파이프라인에서 발생하는 컨텍스트 중복 문제를 해결하기 위한 로컬 우선 중복 제거(dedup) 도구가 공개되었다.
2,200만 개의 컨텍스트 패시지를 분석한 결과, 일반적인 에이전트 컨텍스트의 약 **22%**가 중복되었으며, RAG 기반 쿼리에서는 중복률이 최대 **71%**에 달하는 것으로 나타났다. 이 도구를 사용하면 8k, 16k, 32k 등 제한된 컨텍스트 창을 가진 로컬 모델에서 더 많은 유효 정보를 담을 수 있다.
사용 방법은 세 가지로 제공된다:
- HTTP Proxy 모드: Ollama, vLLM, llama.cpp 등 OpenAI 호환 엔드포인트를 사용하는 서버 앞에 배치하여 요청 전 중복을 제거한다. 캐시 효율을 위해 대화의 접두사(prefix)는 유지하면서 최신 메시지만 중복을 제거하는 기능을 지원한다.
- MCP 서버: Claude Desktop, Cursor 등 MCP를 지원하는 환경에서 도구로 호출하여 사용할 수 있다.
- Standalone CLI: 쉘 파이프라인 및 전처리 스크립트용으로 활용 가능하다.
해당 도구는 MIT 라이선스로 제공되며, 250KB의 가벼운 바이너리 형태이며 어떠한 텔레메트리(원격 측정)도 포함하지 않는다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.