Hugging Face, Papers with Code 하이브리드 검색 아키텍처 공개

Hugging Face가 Papers with Code의 11만 편 이상 논문을 대상으로 PostgreSQL 기반의 하이브리드 검색 시스템을 구축했다. 이 시스템은 정확한 키워드 매칭이 가능한 전문 검색(Full-Text Search)과 의미 유사도를 찾는 벡터 검색(pgvector)을 Reciprocal Rank Fusion(RRF) 알고리즘으로 결합하여 검색 정확도를 높였다.

아키텍처 및 기술 스택

시스템은 Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용하여 오프라인 임베딩 생성과 온라인 검색을 분리했다. 임베딩 모델로는 Qwen3-Embedding-0.6B를 사용하며, Matryoshka Representation Learning(MRL)을 적용해 1024차원을 256차원으로 줄여 저장 공간을 약 27% 절감하면서도 높은 재현율을 유지한다. 질의 임베딩은 저지연 Inference Endpoint에서 실시간으로 처리되며, 장애 시 전문 검색만으로 즉시 응답하는 폴백 메커니즘을 갖췄다.

성능 및 운영 전략

파일럿 테스트(5,000편 기준)에서 pgvector 검색은 Recall@20 0.9955, p95 지연 시간 2.21ms를 기록했다. RRF 결합 시 가중치는 동일하게 적용되며, k=60 파라미터를 사용한다. 운영 측면에서는 모델 리비전과 차원을 고정하고, 체크섬을 통해 데이터 불변성을 보장하며, 원자적 활성화 방식으로 안전한 배포를 지원한다. 이를 통해 연구자들은 오타가 있거나 불완전한 제목으로도 정확한 논문을 찾을 수 있게 되었다.