2억 개 웹 페이지 로컬 RAG 검색 도구

LLMSearchIndex는 RAG(검색 증강 생성) 애플리케이션을 위해 설계된 오픈 소스 라이브러리로, 외부 API 호출 없이도 인터넷 규모의 웹 검색을 로컬 환경에서 수행할 수 있도록 지원합니다.

주요 특징 및 데이터:

• 방대한 데이터셋: Wikipedia와 FineWeb 데이터를 활용하여 약 2억 300만 개의 웹 페이지를 인덱싱했습니다.
• 로컬 실행 최적화: 쿼리 시점에 외부 API를 호출할 필요가 없어 보안과 속도 면에서 유리합니다.
• 효율적인 아키텍처: all-MiniLM-L6-v2 임베딩 모델을 사용하며, **PCA(주성분 분석)**를 통해 차원을 384차원에서 64차원으로 축소하고 **이진 양자화(Binary Quantization)**를 적용하여 검색 효율을 극대화했습니다.
• 검색 방식: FAISS 인덱스를 기반으로 하며, 필요에 따라 코사인 유사도를 이용한 리랭킹(Rerank) 기능을 지원합니다.

시스템 요구 사항:

• RAM: 약 6 GB
• 디스크 공간: 약 10 GB
• 하드웨어: CPU 인퍼런스를 지원하며 GPU는 선택 사항입니다.