학습된 지지 함수를 이용한 MIPS 연산 비용의 분할 상환

Maximum Inner Product Search(MIPS)는 주어진 쿼리와 데이터베이스 내 키(key) 사이의 최적의 일치 항목을 찾는 머신러닝의 핵심 하위 루틴입니다. 기존 방식은 매번 검색을 수행해야 하지만, 본 연구에서는 고정된 데이터베이스에 대해 반복되는 MIPS 비용을 줄이기 위해 신경망이 해를 직접 예측하도록 학습하는 Amortized MIPS 방식을 제안합니다.

핵심 통찰은 MIPS 값 함수가 키 집합의 **지지 함수(Support Function)**라는 점입니다. 이를 바탕으로 두 가지 보완적인 모델을 도입했습니다.

• SupportNet: 입력 볼록 신경망(Input-convex neural network)으로, 지지 함수를 회귀하도록 학습하여 쿼리를 관련 데이터베이스 파티션으로 안내하는 클러스터 라우터 역할을 수행합니다.
• KeyNet: 최적의 키를 직접 회귀하는 벡터 값 네트워크로, 기존 인덱싱 파이프라인에 즉시 교체하여 사용할 수 있는 드롭인(drop-in) 모델입니다.

BEIR 벤치마크 실험 결과, 문서 임베딩 환경에서 학습된 SupportNet과 KeyNet은 연산량(FLOPs), 프로브(probes) 수, 실제 실행 시간(wall-clock time) 측면 모두에서 IVF 매치율을 유의미하게 향상시켰습니다.