Google TurboQuant 기반 Rust 벡터 인덱스 'Turbovec' 공개, FAISS 대비 압축률 및 속도 향상

Google Research의 TurboQuant 기술을 기반으로 한 Rust 벡터 인덱스 Turbovec이 공개되었습니다. 이 도구는 대규모 벡터 데이터의 메모리 사용량을 크게 줄이면서 검색 성능을 유지하거나 향상시키는 데 초점을 맞췄습니다.

성능 및 압축 효율

• 메모리 절감: 1,000만 개의 float32 벡터 문서가 차지하는 31GB의 메모리를 4GB로 압축합니다.
• 검색 속도: 기존 표준 라이브러리인 FAISS보다 빠른 검색 속도를 제공합니다.

기술적 특징

• 즉시 인덱싱: 별도의 학습 과정이나 매개변수 튜닝 없이 벡터를 즉시 추가하고 검색할 수 있습니다.
• 하드웨어 최적화: ARM의 NEON 및 x86의 AVX-512, AVX2 명령어를 활용한 SIMD(Single Instruction Multiple Data) 최적화를 통해 성능을 극대화했습니다.