임베딩 캐싱 프록시 embedcache 공개
embedcache: single Go binary that sits in front of Ollama and stops it recomputing embeddings it already did
·2026.07.16 02:00
Ollama 등 임베딩 모델의 중복 연산을 방지하여 GPU 자원을 절약하는 캐싱 프록시 도구입니다.
Ollama, vLLM, TEI와 같은 자체 호스팅 임베딩 모델 사용 시 발생하는 GPU 자원 낭비를 줄이기 위한 캐싱 프록시인 embedcache가 공개되었습니다.
이 도구는 별도의 Python 설치나 데이터베이스 없이 실행 가능한 단일 Go 바이너리로 제공되며, 다음과 같은 주요 기능을 갖추고 있습니다.
- 초고속 응답: 이미 계산된 텍스트는 메모리에서 1ms 미만으로 즉시 서빙됩니다.
- 안정성 및 관리: 재시작 시에도 캐시가 유지되는 스냅샷 기능, 백엔드 장애 시 서비스 중단을 방지하는 서킷 브레이커, API 키별 토큰 예산 설정을 지원합니다.
- 모니터링: Prometheus 메트릭을 통해 상태를 확인할 수 있으며, 기존 로그를 분석해 중복 비용을 측정하는 offline analyze 명령어를 제공합니다.
단, 이 도구는 정확한 일치(Exact-match) 방식의 캐싱을 수행하므로, 완전히 동일하거나 재입력된 콘텐츠에 최적화되어 있습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.