Turbovec – Rust 기반의 Google TurboQuant 벡터 검색 엔진

Google Research의 TurboQuant 알고리즘을 기반으로 구축된 Rust 기반 벡터 인덱스 turbovec가 공개되었습니다. 이 도구는 RAG(Retrieval-Augmented Generation) 스택을 구축할 때 메모리 사용량, 레이턴시, 보안을 중요하게 생각하는 개발자에게 최적화되어 있습니다.

주요 특징:

• 압도적인 메모리 효율성: 1,000만 개의 문서 코퍼스를 float32 기준 31GB에서 4GB로 압축하여 저장하며, FAISS보다 빠른 검색 속도를 제공합니다.
• 데이터 불가지론적 양자화(Data-oblivious Quantizer): 별도의 학습 단계나 파라미터 튜닝 없이도 최적의 왜곡률을 유지하며, 데이터가 늘어나도 재학습이나 재구축 없이 **온라인 인제스트(Online ingest)**가 가능합니다.
• SIMD 최적화 검색: ARM(NEON) 및 x86(AVX-512, AVX2) 아키텍처를 위한 핸드라이튼 커널을 통해 FAISS IndexPQFastScan 대비 평균 3.4배(4-bit) 더 빠른 성능을 보여줍니다.
• 기능적 유연성: 검색 시 ID 화이트리스트를 통한 **필터링(Filter at search time)**을 지원하며, 변경된 부분만 저장하는 증분 저장(Incremental saves) 기능을 통해 크래시 안전성과 효율성을 보장합니다.
• 로컬 및 보안 중심: 관리형 서비스 없이 로컬 환경이나 VPC 내에서 동작하므로, 에어갭(Air-gapped) RAG 스택 구축에 적합합니다.

프레임워크 통합: LangChain, LlamaIndex, Haystack, Agno 등 주요 AI 프레임워크의 벡터 스토어와 호환되는 드롭인 교체(Drop-in replacement)를 지원하여 기존 파이프라인을 쉽게 전환할 수 있습니다.