검색 순위에서 추천으로: AI 에이전트 시대에 사이트를 준비하는 법

AI 에이전트가 검색엔진 대신 고객의 질문에 답하고 상품과 서비스를 추천하는 시대가 열리고 있다. Cloudflare에 따르면 현재 HTML 페이지 요청의 절반 미만만 사람이 직접 발생시키며, 나머지에는 봇과 에이전트가 포함된다.

기존의 검색 순위와 페이지뷰만으로는 에이전트 시대의 발견 가능성을 측정하기 어렵다. 사이트가 에이전트에게 읽히고, 신뢰할 수 있는 정보로 해석되며, 최종 답변에서 추천되는지가 새로운 핵심 지표가 된다.

Cloudflare는 사이트 운영자가 다음 두 가지를 확인할 수 있도록 기존 Agent Readiness 기능을 대시보드에 통합하고, Answer Engine Optimization(AEO) 도구를 추가했다.

• 에이전트가 실제로 사이트를 이용할 수 있는가
• AI 답변에서 사이트와 제품이 얼마나 자주 추천되는가

Agent Readiness의 Diagnostics는 에이전트의 관점에서 사이트를 점검한다. robots.txt와 sitemap을 통해 접근 허용 여부와 콘텐츠 발견 가능성을 확인하고, 기계가 읽기 쉬운 Markdown 콘텐츠와 호출 가능한 인터페이스, 인증 및 도구 관련 메타데이터도 검사한다.

진단 결과는 호스트 이름별로 통합돼 Not Ready부터 완전한 agent-native 상태까지 단계로 표시된다. 각 항목은 통과·실패·중립으로 구분되며, 중요성에 대한 설명과 실제 요청·응답을 확인할 수 있는 증거도 제공한다.

점검 항목은 작업 난이도에 따라 다음과 같이 구성된다.

• 빠른 개선: 크롤러가 읽을 수 있는 robots.txt, XML sitemap, AI 크롤러 규칙, 에이전트용 Markdown 제공
• 기술 기반: 콘텐츠 사용 방식을 명시하는 Content Signals, API 카탈로그, 링크 헤더, 에이전트 로그인 안내
• 고급 설정: 에이전트가 사이트와 더 안정적으로 상호작용하기 위한 추가 구성

초기 SEO가 검색엔진에 맞게 구축된 사이트를 유리하게 만들었듯, 앞으로는 쉽게 발견되고 읽히며 신뢰받는 사이트가 AI 에이전트의 추천을 받을 가능성이 높아진다.