AI Briefing#ai-crawlers
#ai-crawlers와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-crawlers와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Cloudflare가 AI 에이전트 과금을 위한 Pay Per Use와 Monetization Gateway를 출시했다.
AI 학습용 크롤러가 git.kernel.org의 HTML 렌더링을 대량으로 요청해 서버 리소스를 고갈시키고 있다.
Cloudflare가 AI 봇 설정을 robots.txt와 자동 동기화하는 Bot Preference Sync를 출시했다.
Cloudflare가 canonical tag를 301 리디렉션으로 바꿔 AI training crawler를 최신 문서로 보낸다.
GitBook은 Vercel의 태그 기반 캐시 무효화 기술을 통해 3만 개 사이트에 300ms 미만의 빠른 업데이트를 제공한다.