Apple, Amortized MIPS로 RAG 검색 속도 8배 향상

• Apple 연구진이 Amortized MIPS를 제안함. 오프라인에서 작은 신경망을 학습시켜 Maximum Inner Product Search(MIPS) 해를 예측하여 Retrieval-Augmented Generation(RAG) 시스템의 속도와 정확도를 동시에 개선하는 방식임.
• Natural Questions 데이터셋(260만 개 패사지)에서 KeyNet 모델은 기존 쿼리 대비 99% recall을 달성하면서 지연 시간을 최대 8배(0.23ms 대 1.8ms) 줄이고, key 스캔 횟수를 최대 11배(0.009% 대 0.10%) 감소시킴.
• SupportNet 모델은 라우팅 효율을 향상시켜 centroid routing보다 95% recall을 1.9배 빠르게(1.74ms 대 3.36ms) 달성함. 데이터베이스의 5%만 스캔할 때에도 90~93%의 true partitions을 식별함.
• MIPS 해를 네트워크 가중치에 인코딩하여 반복적인 검색 작업의 비용을 일회성 학습 단계로 분산(amortize)시킴. 알려진 쿼리 분포를 가진 프로덕션 시스템에 적합함.

Model Architectures

• SupportNet은 Input Convex Neural Networks(ICNN)를 사용하여 support function을 직접 학습함. 재순위화(re-ranking)와 임계값 설정(thresholding)을 위한 교정된 점수(calibrated scores)를 제공함.
• KeyNet은 쿼리 재작성기(query rewriter) 역할을 수행함. 최적의 매칭 key 벡터를 출력하여 기존 Inverted File Index(IVF) 시스템이 더 빠른 검색으로 유도하도록 함.

Implementation Guidance

• 추론 속도가 병목 현상이고 최적 key의 근사값만 필요한 경우 KeyNet 사용을 권장함.
• 하위 작업에 교정된 점수가 필요하거나 작은 모델에 대한 컴퓨트 자원이 제한적인 경우 SupportNet 사용을 권장함.
• 대규모 시스템에는 하이브리드 접근법을 권장함. SupportNet을 클러스터 수준 라우팅에, KeyNet을 클러스터 내 검색 최적화에 사용함.