xerj: 토큰 2.7배 절감, grep 대신 쓰는 로컬 검색 엔진

AI 에이전트가 파일을 하나씩 읽으며 소모하는 토큰을 줄여주는 로컬 검색 엔진이다. 단일 Rust 바이너리로 코드, 문서, 로그, PDF 등 다양한 형식을 인덱싱하여 BM25, 벡터, 하이브리드 검색을 지원한다. Elasticsearch 호환 API를 제공해 기존 클라이언트와 바로 연동할 수 있다.

에이전트가 전체 파일을 컨텍스트에 넣는 대신 필요한 패스지만 반환받아 작업 효율을 높인다. 측정 결과 메모리에 의존하는 방식보다 출력 토큰을 26배, grep 기반 방식보다 2.7배 줄이면서도 동일한 문제 해결률을 유지했다. 특히 모델이 학습하지 못한 내부 코드나 최신 라이브러리에서 효과가 크다.

MCP 서버로 동작해 Claude Code, Cursor 등 다양한 AI 코딩 도구와 연결된다. 에이전트가 유사한 오픈소스 프로젝트를 인덱싱하고 기존 해결 방식을 검색해 코드를 작성하는 '참조 코딩' 워크플로우를 자동화한다. 또한 /_memory 네임스페이스를 통해 세션 간 에이전트 기억을 관리할 수 있다.

Apache-2.0 라이선스로 배포되며, 데이터가 로컬에 머물러 프라이버시를 유지한다. 복잡한 스키마 설정이나 파이프라인 구성 없이 폴더 하나만 지정하면 파일 유형을 자동 감지해 인덱싱을 시작한다. 보안 감사나 로그 분석처럼 특정 패턴을 대량으로 검색해야 할 때도 유용하다.