Linux 커널 저장소, AI 크롤러의 HTML 렌더링 부하로 서버 과부하 발생

git.kernel.org 운영진이 AI 크롤러로 인한 심각한 서버 부하 문제를 공개했다. 현재 5개의 지리적으로 분산된 노드에서 14개의 CPU 코어가 오직 git 커밋을 HTML로 렌더링하는 데만 사용되고 있으며, 이는 git 클론 등 다른 모든 합법적인 접근보다 더 많은 CPU 사이클을 소모하고 있다.

크롤러의 비효율적인 데이터 수집 방식

Linux 개발 과정은 오픈 소스이며, LLM 학습에 있어 AI 생성물이 섞이지 않은 순수한 데이터 원천으로 가치가 높다. 하지만 크롤러들은 효율적인 git clone 대신, 148만 개의 커밋과 922개의 포크를 HTML 페이지 단위로 하나씩 렌더링하여 파싱하는 비효율적인 방식을 택하고 있다. 이는 cgit의 유연성을 악용하여 수십억 개의 유효한 URL을 생성해내는 행위다.

차단 회피와 프록시 SDK의 위협

초기에는 User-Agent나 IP 주소를 기반으로 크롤러를 차단했으나, 봇들은 일반 브라우저로 위장하고 구글 클라우드 등 대형 ASN을 우회하는 방식으로 진화했다. 최근에는 수백만 개의 가정용 또는 모바일 IP에서 4~5회 요청 후 사라지는 기법을 사용하며, 이는 스마트 TV 등에 설치된 '프록시 SDK 수익화' 비즈니스와 연관되어 있다. 이러한 분산 공격은 방화벽 규칙을 무의미하게 만들고 시스템이 복구되면 다시 공격하는 방식으로 지속되고 있다.