Cloudflare의 고객을 위한 새로운 AI 트래픽 옵션

Cloudflare는 기존의 단순한 'AI 봇 차단'을 넘어, 봇의 동작 방식과 목적에 따라 트래픽을 세분화하여 관리할 수 있는 새로운 분류 체계를 발표했습니다.

새로운 분류 체계는 크게 세 가지 핵심 Use Case를 기준으로 합니다:

• Search (검색): 콘텐츠를 인덱싱하여 나중에 질문에 답하기 위해 데이터베이스를 구축하는 동작. 웹사이트 소유자는 이 과정에서 리퍼럴 트래픽이나 정당한 보상을 기대할 수 있습니다.
• Agent (에이전트): 사용자를 대신해 실시간으로 작업을 수행하는 자동화 동작 (예: ChatGPT-User, Gemini/Claude의 브라우저 사용 에이전트). 사용자의 요청을 완료하기 위해 웹 애플리케이션을 방문합니다.
• Training (학습): 모델의 성능 향상을 위해 데이터를 영구적으로 모델 아키텍처에 흡수하는 크롤링 동작.

Cloudflare는 봇 운영사들이 Search, Agent, Training 목적에 따라 크롤러를 분리하여 운영할 것을 강력히 권고하며, 이를 통해 웹사이트 소유자가 각 목적에 맞는 접근 권한을 더 정교하게 제어할 수 있도록 지원할 계획입니다.