Cloudflare, Verified bot 지속 신뢰 점수 시스템 도입

Cloudflare가 Verified bot의 신뢰성을 한 번의 확인이 아닌 지속적 평가로 관리하는 시스템을 도입했다. 기존 검증이 운영 주체를 확인하는 데 초점을 맞췄다면, 새 시스템은 봇이 시간이 지남에 따라 책임감 있게 행동하는지 판단해 일시적 위험과 장기적 신뢰를 구분한다.

사이트 설정 준수 여부 측정

시스템은 봇이 웹사이트 설정을 얼마나 일관되게 따르는지에 따라 설명 가능한 trust band를 생성한다. 초기 신호는 다음과 같다:

• Robots.txt 준수: RFC 9309에 따라 공개된 크롤링 규칙과 트래픽이 일치하는지 확인한다.
• 피드백 대응: HTTP 429("Too Many Requests") 신호 수신 후 봇이 속도를 줄이거나 일시 정지하는지 모니터링한다.

단발성 위반은 처벌하지 않으며, 사이트 설정을 무시하는 반복적 패턴을 감지한다. 속도 제한 신호에 지속적으로 적응하는 봇은 신뢰 점수가 상승하고, 이를 무시하면 점수가 하락한다.

통합 및 향후 제공 계획

이 책임성 루프는 Bot Preference Sync 및 Bot Management와 함께 작동해 사이트 소유자가 자동화 트래픽을 관리하도록 돕는다. 현재 Cloudflare는 내부적으로 과거 데이터를 구축하고 평가 방법을 개선하는 데 시스템을 사용 중이다. 회사는 향후 모든 고객에게 시스템을 공개해 Verified bot 트래픽 처리를 위한 특정 신뢰 임계값 설정을 허용할 계획이다. 점수는 결국 Radar를 통해 공개될 예정이다.