추천Cerebras의 RAG 기반 사내 지식 베이스 설계

Cerebras는 Slack, GitHub, Google Docs 등 파편화된 사내 데이터를 통합하여 자연어로 질문에 답하는 Cerebras Knowledge 시스템을 구축했다. 이 시스템은 매일 15,000개 이상의 질문을 처리하며, 단순한 벡터 검색을 넘어 실용적인 정확도를 확보하기 위한 정교한 설계를 채택했다.

핵심 설계 특징은 다음과 같다:

• 데이터 수집 전략: 사용자의 행동 변화를 강요하는 대신, 기존 도구(Slack, Jira 등)에서 데이터를 직접 추출하는 방식을 사용하여 데이터의 연속성을 유지한다.
• 통합 데이터스토어: PostgreSQL을 기반으로 임베딩, 원본 요약, 메타데이터를 하나의 테이블에 저장하여 다양한 소스의 데이터를 동일한 인터페이스로 질의할 수 있게 했다.
• 검색 최적화: 단순 임베딩 검색의 한계를 극복하기 위해 pgvector를 활용한 벡터 검색과 **RRF(Reciprocal Rank Fusion)**를 통한 재순위화(Reranking) 기법을 결합하여 검색 품질을 높였다.
• 확장성: 개발자들이 직접 커스텀 커넥터를 만들 수 있는 구조로 설계되어, 새로운 데이터 소스가 추가되어도 시스템을 유연하게 확장할 수 있다.