Cloudflare AI Search: 에이전트를 위한 데이터 검색 엔진

Cloudflare AI Search가 여러 Cloudflare 기본 구성요소를 직접 조합하지 않아도 검색 솔루션을 구축할 수 있도록 개발자 경험을 개선했다. 에이전트가 구조화·비구조화 데이터와 웹사이트를 검색해 더 나은 답변을 생성하도록 지원한다.

주요 업데이트는 다음과 같다.

• 파일과 웹사이트를 포함한 데이터 컬렉션을 에이전트용으로 인덱싱
• 사이트맵이 없는 웹사이트도 Discover 파싱 방식으로 크롤링
• 네임스페이스 전체를 검색하는 단일 /search 및 /mcp 공개 엔드포인트 제공
• 공개 엔드포인트에 사용자 지정 도메인을 연결하고, Cloudflare Access로 비공개 검색 인스턴스 구성
• EmDash용 AI Search 플러그인으로 콘텐츠에 시맨틱 검색 추가

AI Search는 임베딩과 리랭킹 비용을 포함하는 초기 가격 모델도 공개했다. Workers AI 카탈로그의 일부 기본 모델을 사용할 경우 임베딩과 리랭킹이 무료여서 토큰 수를 별도로 예측하지 않아도 되며, 사용량 증가에 맞춰 비용을 예측하기 쉽게 설계했다.

Cloudflare는 Cloudflare Dev Stack MCP에도 AI Search를 적용했다. Docs, Blog, API Docs, Community, Astro, Vite, Vitest, Hono, Replicate, OpenNext 등 Cloudflare가 관리하는 10개 표면을 각각 AI Search 인스턴스로 인덱싱한 뒤 하나의 검색으로 통합해, 코딩 에이전트가 최신 문서와 수정 사항을 출처와 함께 검색하도록 구성했다.

사이트맵이 없는 커뮤니티 사이트는 다음과 같이 --parse-type discover 옵션을 사용해 링크를 따라 페이지를 찾도록 설정할 수 있다.

npx wrangler ai-search instance create cloudflare-community \\
  --namespace dev-stack \\
  --source https://community.cloudflare.com \\
  --type web-crawler \\
  --parse-type discover

이 방식은 Browser Run의 /crawl 기능을 활용해 크롤링, 수집, 임베딩, 검색을 자동화한다.