Cloudflare·OpenAI 파일럿, ChatGPT용 신규 페이지 수억 개 발견

Cloudflare와 OpenAI가 7월 시작한 AI 콘텐츠 탐색 개선 연구 파일럿의 초기 결과를 공개했다. 이 프로젝트는 Cloudflare의 네트워크 신호가 OpenAI의 검색 크롤러가 ChatGPT 사용자에게 더 유용한 페이지를 찾는 데 도움이 되는지 검증했다. 파일럿은 OpenAI의 검색 인덱스에 이전에 알려지지 않은 페이지를 성공적으로 포함시켜, 관련성 높고 시의적절한 정보를 제공하는 출처를 확장했다.

검색 인덱스 확장

파일럿은 **Cloudflare 전체 네트워크의 약 1%**에 해당하는 참여 그룹을 활용했다. 이 제한된 범위 내에서 OpenAI는 수억 개의 새로운 웹 페이지를 발견하고 인덱싱했다. 외부 링크가 적었던 이러한 페이지들은 이제 ChatGPT에서 접근 가능해져, 제품 매뉴얼, 지역 영업 시간, 공식 요구 사항 등 구체적인 세부 정보를 찾는 데 도움이 된다. OpenAI는 관련성과 유용성을 기준으로 페이지를 독립적으로 평가하고 순위를 매기며, 이를 통해 탐색과 답변 품질을 모두 개선하는 피드백 루프를 형성한다.

효율성 및 안전 신호

단순 발견을 넘어 파일럿은 불필요한 크롤링 노력 감소와 안전성 강화에 집중했다. Cloudflare의 신호는 다음을 식별하는 데 도움이 된다:

• 존재하지 않거나 중복된 페이지: 누락된 파일을 요청하는 봇이나 홈페이지로 리디렉션되는 사이트를 필터링한다.
• 변화 신호: 페이지를 다시 가져올 가치가 있는지 판단하여 웹사이트 소유자의 불필요한 부하를 줄인다.
• 유해 콘텐츠: 가짜 로그인 폼 등 특정 침해된 페이지를 플래그 처리하되, 도메인 전체에 페널티를 부과하지 않는다.

이러한 메커니즘은 OpenAI가 실제로 사람들을 돕는 정보에 검색 자원을 쓰도록 보장하며, Cloudflare 고객은 불필요한 트래픽을 줄인다. 연구는 모델 훈련용 페이지 콘텐츠가 아닌, 검색 및 발견용 메타데이터를 사용한다. 도메인 소유자는 Cloudflare의 AI Crawl Control을 통해 접근 권한을 계속 관리할 수 있다.