Asymmetric Quantization: 97%의 저장 공간 절감과 함께 구현하는 Near-Lossless Retrieval

Late Interaction 모델(예: ColBERT)은 문서의 세밀한 정보를 보존하여 검색 정확도를 높이지만, 다수의 벡터를 저장해야 하므로 저장 비용이 매우 높다는 단점이 있습니다.

Mixedbread Search는 이를 해결하기 위해 Asymmetric Quantization(비대칭 양자화) 기술을 도입했습니다. 이 방식은 쿼리 벡터는 높은 정밀도를 유지하고, 문서 벡터는 Binary(1-bit) 부호로 저장하여 효율성을 극대화합니다.

주요 성과는 다음과 같습니다:

• 저장 공간 절감: 문서당 평균 32배의 저장 공간을 절감하여, 393 KiB에서 12.28 KiB로 줄였습니다.
• 검색 품질 유지: FP32 정밀도 대비 NDCG@10 기준 90.26에서 89.65로 매우 미미한 성능 저하만을 보였습니다.
• 경제성 확보: 다중 벡터(Multi-vector) 방식을 사용하면서도 저장 비용은 단일 벡터(Single-vector) 수준으로 낮추어, 대규모 검색 엔진에서 Late Interaction 모델의 실용성을 확보했습니다.