Papers with Code, HF 인프라 기반 하이브리드 검색 구축

Papers with Code는 오픈 AI 연구의 접근성을 높이고 SOTA를 쉽게 찾을 수 있도록 하기 위해 하이브리드 검색 시스템을 구축했다. 이 시스템은 PostgreSQL의 Full-text search(키워드 검색)와 pgvector(벡터 검색)를 결합하여 정확도와 의미적 유사성을 동시에 확보한다.

핵심 아키텍처는 오프라인 코퍼스 빌드와 온라인 검색 서비스를 분리하는 방식이다.

• Hugging Face Jobs: 11만 개 이상의 논문 코퍼스를 처리하는 배치 워크로드를 위해 버스타블 GPU 컴퓨트를 제공한다.
• Hugging Face Storage Buckets: 데이터베이스, 실험, Jobs 간의 영속적 데이터 전달을 담당한다.
• Hugging Face Inference Endpoints: 실시간 쿼리 임베딩을 위한 저지연 추론을 제공하며, 서비스 장애 시에는 풀텍스트 검색으로 즉시 폴백된다.

임베딩 모델로는 Qwen3-Embedding-0.6B를 사용하며, **MRL(Matryoshka Representation Learning)**을 활용해 256차원 벡터로 저장 공간을 최적화했다. 또한 쿼리와 문서에 각각 다른 프롬프트를 적용하여 검색 품질을 높였다.