Accept 헤더를 통해 AI 에이전트에 마크다운 서빙하기

AI 에이전트가 웹사이트를 크롤링할 때 불필요한 HTML 구조와 스크립트를 제거하고 콘텐츠만 전달하기 위해 Accept: text/markdown 헤더를 활용하는 방식이 제안된다.

이 방식을 적용하면 에이전트는 DOM 파싱 부담을 줄이고, 광고나 레이아웃 요소가 아닌 순수 텍스트에 집중할 수 있어 RAG 파이프라인의 시그널 대 노이즈 비율이 향상된다. 또한 전송 데이터량이 줄어들어 **첫 토큰 지연 시간(Latency)**이 단축되는 효과도 있다.

Nginx, Caddy, Cloudflare Workers, Next.js, Astro 등 다양한 서버 및 프레임워크 설정 레시피와 함께, 현재 이 헤더를 지원하는 AI 에이전트 현황을 확인할 수 있는 상태 매트릭스도 제공된다.