Cloudflare, AI 학습 차단과 검색 색인 유지 분리하는 'Disallow AI Training' 설정 발표

Cloudflare가 웹사이트 소유자가 AI 학습을 거부하면서도 검색 색인은 유지할 수 있도록 하는 'Disallow AI Training' 설정을 발표했다. 기존에는 검색과 AI 학습을 겸용하는 Mixed-use crawler로 인해 한쪽을 차단하면 다른 쪽까지 차단되는 트레이드오프가 발생했으나, 이번 업데이트로 두 기능을 분리 제어할 수 있게 됐다.

새로운 설정은 도메인 단위로 적용되며, robots.txt에 학습 거부 선호도를 게시하는 방식으로 작동한다. Cloudflare는 봇 행동을 Search, Training, Agent로 분류한다. Apple, Google, Microsoft의 크롤러(Applebot, Googlebot, Bingbot)는 Accountable 크롤러로 분류되어 이 설정을 준수하며, 학습 거부 시에도 검색용 크롤링은 허용한다. Amazon, Anthropic, Meta, OpenAI의 크롤러는 학습 전용으로 분리되어 있어 학습 차단 시 검색 노출에 영향이 없다.

기존 'Block' 및 'Block on pages with ads' 설정은 이제 Mixed-use crawler를 포함한 모든 Training 크롤러에 적용된다. 따라서 검색 가시성을 유지하면서 학습만 차단하려면 신규 'Disallow AI Training' 설정을 사용해야 한다. Cloudflare은 크롤러의 접근과 콘텐츠 창작자의 통제권이라는 두 가지 가치가 비즈니스에 서로 다른 방식으로 영향을 미친다고 밝혔다.