AI Training용 리디렉션이 canonical 콘텐츠를 강제한다

Cloudflare는 오래된 문서를 남겨두는 대신, verified AI training crawler가 접속하면 HTML의 canonical tag를 읽어 301 Moved Permanently로 최신 URL로 돌려보내는 기능인 Redirects for AI Training을 공개했다. 기존의 경고 배너, noindex, canonical tag만으로는 AI 크롤러가 오래된 내용을 계속 수집하는 문제를 막기 어렵다는 판단이다.

이 기능은 cf.verified_bot_category와 페이지의 <link rel="canonical">를 함께 사용한다. AI Crawler 카테고리의 봇이 요청하면, 비자기참조 canonical이 있을 때만 리디렉션을 수행하며, 인간 트래픽과 검색 인덱싱, 다른 자동화 트래픽은 그대로 둔다. 교차 도메인 canonical과 self-referencing canonical은 제외해 루프와 도메인 통합 용도를 건드리지 않도록 했다.

Cloudflare는 왜 이 기능이 필요한지도 자사 문서에서 보여준다. developers.cloudflare.com에서는 지난 30일 동안 AI crawler 카테고리 봇이 480만 회 방문했고, 폐기된 콘텐츠와 현재 콘텐츠를 비슷한 비율로 소비했다. 2026년 3월에는 legacy Workers 문서가 OpenAI, Anthropic, Meta에 의해 각각 약 46,000회, 3,600회, 1,700회 크롤링됐다.

예시로, 오래된 Wrangler CLI 문서를 본 AI assistant는 아직도 kv:key put를 답했지만, 실제로는 **wrangler kv key put**가 맞고 kv:key put은 Wrangler 3.60.0에서 폐기됐다. Cloudflare는 이 기능을 켠 뒤 첫 7일 동안, canonical이 있는 페이지에 대한 AI training crawler 요청의 **100%**가 최신 URL로 리디렉션되어 폐기된 콘텐츠가 제공되지 않았다고 밝혔다.

대신에 단순한 redirect rule만으로 해결하는 방식은 확장성이 떨어진다고 본다. 새로 폐기되는 경로마다 룰을 추가해야 하고, user-agent를 수동으로 추적해야 하며, 이미 canonical tag가 선언한 콘텐츠 계층을 다시 규칙으로 중복 작성하게 되기 때문이다.

또한 Cloudflare는 Radar AI Insights에 Response status code analysis를 추가했다. 여기서는 AI crawler가 받은 2xx, 3xx, 4xx, 5xx 응답 분포를 볼 수 있고, 전체 트래픽이나 개별 bot 단위로도 확인할 수 있다. 예시 그래프에서는 전체 AI crawler 요청의 약 **70%+**가 200 응답이었고, **10.1%**가 301/302 리디렉션, **3.7%**가 404, **8.3%**가 403이었다.