Cerebras가 사내 지식 베이스를 구축한 방법

Cerebras는 Slack, GitHub, Jira, Google Docs 등 다양한 도구에 파편화된 사내 데이터를 통합하기 위해 Cerebras Knowledge를 구축했다. 기존 워크플로우를 변경하지 않고 데이터를 추출하는 방식을 채택했다.

시스템의 핵심 구조는 다음과 같다:

• 데이터 수집 및 저장: 각 플랫폼에서 데이터를 직접 추출하여 하나의 Postgres 테이블에 임베딩, 원문 요약, 메타데이터를 함께 저장한다.
• 단일 인터페이스: 데이터 소스가 무엇이든(Slack 스레드부터 코드 레포지토리까지) 동일한 임베딩 테이블에 저장되어 즉시 쿼리가 가능하다.
• 확장성: 개발자가 새로운 데이터 소스를 위한 커스텀 커넥터를 쉽게 구축할 수 있는 단순한 구조를 지향한다.

이 시스템은 현재 매일 15,000개 이상의 질문을 처리하며, 인간뿐만 아니라 자동화 도구와 AI 에이전트가 모두 사용하는 핵심 인프라로 자리 잡았다.