에이전틱 엔진 최적화 (AEO)

AI coding agent는 인간과 다르게 문서를 읽는다. 페이지를 길게 탐색하지 않고 단일 HTTP 요청으로 받아 토큰을 세고, 컨텍스트에 안 맞으면 조용히 버린다. 그래서 기존의 체류 시간, 스크롤, 클릭 같은 분석 지표로는 AI 트래픽을 포착하기 어렵다.

이에 대응해 Agentic Engine Optimization(AEO) 이라는 개념을 제시한다. 핵심은 문서를 에이전트가 실제로 사용할 수 있게 만드는 것이며, 기준은 다음과 같다.

• Discoverability: JavaScript 렌더링 없이 찾을 수 있는가
• Parsability: 머신이 쉽게 읽을 수 있는가
• Token efficiency: 일반적인 컨텍스트 창에 들어가는가
• Capability signaling: 무엇을 할 수 있는지 명확한가
• Access control: AI 크롤러 접근이 의도대로 설정되어 있는가

에이전트 트래픽은 사람처럼 여러 페이지를 둘러보지 않는다. 논문에서 관찰된 주요 코딩 에이전트들, 예를 들어 Claude Code, Cursor, Cline, Aider, VS Code, Junie 등은 여러 페이지 탐색을 1~2개의 HTTP 요청으로 압축했다. 그래서 기존의 사용자 여정은 서버 로그에서 거의 사라진다.

서버 로그에는 에이전트별 지문도 남는다. 예를 들어 Aider는 Playwright 기반 Chromium, Claude Code는 axios, Cline과 Junie는 curl, Cursor는 got, Windsurf는 colly 같은 패턴을 보인다. ChatGPT, Claude, Gemini, Perplexity 같은 웹 서비스도 URL 공유 시 서버사이드 fetch를 일으킬 수 있다.

문서 길이도 문제다. 많은 에이전트의 실질 컨텍스트 한계는 100K~200K 토큰 수준인데, 예시로 든 Cisco Secure Firewall Management Center REST API Quick Start Guide는 193,217 토큰에 달해 한 문서만으로 컨텍스트를 거의 소진한다. 너무 길면 일부가 잘리거나, 짧은 문서를 선호해 건너뛰거나, 청킹 과정에서 오류가 나고, 결국 환각으로 폴백할 수 있다. 그래서 토큰 수 자체를 문서의 1급 지표로 봐야 한다.

실용적인 목표도 제안한다.

• Quick start / getting started: 15,000 토큰 미만
• 개별 API reference: 25,000 토큰 미만
• 전체 API reference: 제품 단위가 아니라 리소스/엔드포인트 단위 청킹
• 개념 가이드: 20,000 토큰 미만, 세부는 링크로 분리

AEO 스택은 여러 층으로 구성된다.

• robots.txt: AI 에이전트 차단을 의도치 않게 하지 않도록 점검
• llms.txt: AI 에이전트용 Markdown 사이트맵 역할
• skill.md: 제품이 무엇을 할 수 있는지 기능 중심으로 시그널링
• Markdown 제공: HTML보다 토큰 효율이 높고 파싱이 쉽다
• 토큰 노출: 페이지나 인덱스에 토큰 수를 표시해 에이전트가 판단 가능하게 한다
• Copy for AI: 깨끗한 Markdown을 복사할 수 있게 해 컨텍스트 품질을 높인다

특히 llms.txt는 문서의 구조와 목적을 에이전트에게 직접 알려주는 진입점으로 제안된다. 페이지 이름보다 무엇을 찾을 수 있는지를 설명하고, 필요하면 페이지별 토큰 수도 포함한다. skill.md는 문서를 읽지 않아도 API가 무엇을 해결하는지, 필요한 입력과 제약이 무엇인지 선언적으로 보여준다.

기존 문서 UX의 전제도 바뀐다. 인간에게 중요한 시각적 계층, 점진적 공개, 인터랙티브 예제는 에이전트에게는 거의 의미가 없다. 대신 에이전트가 바로 사용할 수 있는 정적 문서, 명확한 제목 구조, 코드 예제의 배치, 테이블 기반 파라미터 설명이 중요해진다.

마지막으로 저자는 AGENTS.md를 에이전트의 기본 진입점으로 본다. 프로젝트 구조, 주요 파일, 테스트 환경, rate limit, 선호 패턴, 관련 문서 링크를 담아두면 코딩 에이전트가 훨씬 안정적으로 동작한다. 결론적으로, AEO는 SEO의 연장선이지만 대상은 인간이 아니라 AI 에이전트이며, 이 방향으로 문서를 바꾸면 인간에게도 더 나은 문서가 된다.