사내 문서 검색 정확도 높인 LightRAG와 Navigator 구현기

공통 게이트웨이 필터 추가 등 복잡한 사내 문서 질의에서 벡터 검색만으로는 문서 간 관계를 연결하지 못해 정확도가 떨어지는 문제를 해결하기 위해 LightRAG와 Navigator를 도입했습니다. LightRAG는 문서에서 개념(Entity)과 관계(Relation)를 추출해 그래프로 구축하며, 프롬프트 최적화와 Few-shot 예시 교체를 통해 검색 정확도(correctness)를 76%에서 84%로 향상시켰습니다. 또한, 제목만으로는 구분하기 어려운 문서의 위치 정보를 보강하기 위해 Neo4j 기반의 Navigator를 개발했습니다. Navigator는 Confluence와 Jira의 트리 구조를 그대로 그래프 DB에 저장하고, 청킹 시 계층 경로를 임베딩 입력에 포함시켜 문서의 맥락을 정확히 파악하도록 했습니다. 전사 규모 확장에 대비해 Neo4j 속성 인덱스 추가, 팀 단위 배치 처리, 해시 기반 재임베딩 생략 등 최적화를 진행해 적재 시간을 81% 단축하고 메모리 사용을 안정화했습니다.