Notion, Cohere Rerank로 워크스페이스 검색 강화

Notion은 워크스페이스 검색에 Cohere Rerank를 직접 통합해, 대규모 문서와 데이터베이스가 쌓인 환경에서도 더 빠르고 정확한 검색 경험을 만들었다. Notion AI가 Slack, Google Drive 같은 연결된 도구의 지식을 활용하는 만큼, 검색 품질은 제품 성능의 핵심이었다.

직면한 문제는 분명했다. 조직이 커질수록 정보량이 급증해 필요한 내용을 빨리 찾기 어려워졌고, 다음 요구사항을 동시에 만족해야 했다.

• 대규모 데이터셋에서 검색 정확도 향상
• 수천 개 문서와 데이터베이스를 다루는 환경에서 빠른 검색
• embeddings와 벡터 검색에 의존하지 않으면서도 높은 관련성 유지
• 다국어 데이터와 비영어권 사용자를 안정적으로 지원

해결책은 Cohere Rerank를 워크스페이스 검색 파이프라인에 넣는 방식이었다. 먼저 검색 결과를 rerank해 생성 모델이 보기 전에 관련성이 높은 문서를 앞세웠고, 작은 워크스페이스에서는 보통 1,000개 미만의 문서를 대상으로 embedding과 vector search를 건너뛰어 복잡도와 비용을 줄였다.

인프라는 Amazon SageMaker로 구성해 auto-scaling을 적용했다. 덕분에 트래픽이 많은 시간대와 한가한 시간대를 오가더라도 계산 자원을 유연하게 조절할 수 있었고, 전 세계 사용자에게 안정적인 성능을 제공할 수 있었다.

다국어 지원도 중요했다. Cohere의 모델은 여러 언어를 기본적으로 지원해, 특히 EMEA와 APAC에서 멀티링구얼 데이터를 다루는 사용자들에게 같은 수준의 검색 품질을 제공했다. Notion은 정밀도는 Rerank에 맡기고, 팀은 recall 같은 다른 부분에 집중할 수 있었다고 설명했다.

효과는 세 가지로 정리된다.

• 검색 성능 개선: 관련성이 더 높은 결과를 빠르게 제공
• 비용 절감: embedding 생성과 저장, 벡터 검색에 드는 부담을 줄임
• 확장성 확보: 트래픽 변화에 맞춰 검색 기능을 유연하게 운영

Notion은 또한 검색 결과를 Slack, GitHub 등 여러 소스에서 합치는 과정에도 Cohere Rerank를 활용해, 높은 정확도를 유지하면서 비용 효율을 높였다. 현재는 매달 사용자 경험을 개선하는 것을 핵심 KPI로 삼고 있으며, Notion AI를 사용해 본 사용자는 수백만 명에 이르고 관련 매출도 빠르게 성장하고 있다.