AI 스크레이퍼 공격으로 유지가 어려워지는 개방형 웹

LLM 및 관련 프로젝트의 학습 데이터를 수집하기 위한 대규모 스크레이핑(Scraping) 활동이 웹사이트에 과도한 트래픽을 유발하며 개방형 웹의 유지 관리를 어렵게 만들고 있습니다.

공격자들은 Residential Proxy(주거용 프록시) 네트워크를 활용하여 수백만 개의 고유 IP 주소로부터 요청을 보냅니다. 이들은 각 IP당 접속 횟수를 최소화하여 일반 사용자의 브라우저 트래픽처럼 위장하며, 이미지나 CSS를 불러오지 않는 등의 특징이 있지만, 차단 시점이 이미 늦는 경우가 많습니다.

이러한 프록시 네트워크는 크게 두 가지 유형으로 나뉩니다:

• 범죄형 네트워크: 악성코드가 설치된 일반 사용자의 기기를 탈취하여 명령 제어(C&C) 노드의 지시에 따라 동작함. 최근에는 보안이 취약한 미디어 스트리밍 기기가 주요 매개체로 식별됨.
• 비즈니스형 네트워크: '윤리적 소싱'을 표방하며 VPN 서비스 등을 통해 사용자의 네트워크 연결 권한을 획득한 뒤, 웹사이트의 접근 제어를 우회하는 용도로 판매함.

이러한 공격은 웹사이트 운영자에게 막대한 비용과 기술적 부담을 안겨주고 있습니다.