봇과 인간을 넘어

웹에서 사람은 키보드, 화면, 브라우저, 기기를 거치는 게이트웨이를 통해 온라인과 상호작용한다. 하지만 최근의 human detection은 더 이상 단순한 사람/봇 구분으로 설명되지 않는다. 뉴스 요약용 브라우저를 쓰는 사용자, 새벽에 자동 예매를 돌리는 기술 애호가, screen reader를 켠 시각장애인, zero trust proxy 뒤의 기업 트래픽까지 모두 같은 표면 신호를 남기기 때문이다.

웹사이트 운영자도 여전히 데이터 보호, 자원 관리, 콘텐츠 배포 통제, 악용 방지를 해야 한다. 그러나 필요한 것은 ‘인간인지 아닌지’가 아니라 의도와 행동이다. 공격 트래픽인지, 알려진 crawler의 부하가 반환되는 트래픽에 비례하는지, 새 국가에서 접속한 사용자를 기대했는지, 광고가 조작되는지 같은 질문이 실제 판단 기준이 된다.

웹의 전통적인 균형은 브라우저를 중심으로 성립했다. 브라우저는 서버와 사용자 사이의 user agent로서 페이지를 렌더링하고, 접근성 표준과 확장 기능 같은 규칙 속에서 퍼블리셔와 사용자 사이의 충돌을 조정해 왔다. 하지만 AI 에이전트는 이 렌더링 단계를 우회해 원시 데이터를 바로 가져가며, 퍼블리셔는 그것이 개인 보고서인지 대규모 모델 학습용 수집인지 구분하기 어려워졌다. 그 결과 웹의 암묵적 합의와 수익 구조가 흔들리고 있다.

이 상황은 client-server model에서도 드러난다. 서버는 요청만 볼 뿐, 응답 이후에 콘텐츠가 한 사람의 브라우저에서 소비되는지, 아니면 프로그램이 자동으로 수집·색인·재가공하는지 알 수 없다. 서버가 신뢰, 우선순위, 차단, rate limit을 적용하려면 더 많은 단서가 필요하고, 그 단서는 동시에 추적용 fingerprint가 되기도 한다.

요청을 다루는 현재의 신호는 세 층위로 나뉜다.

• Passive client signals: IP 주소, TLS 세션처럼 요청 자체에 필수인 신호
• Active client signals: User-Agent, 인증 정보처럼 클라이언트가 자발적으로 제공하는 신호
• Server signals: 엣지 서버 위치, 수신 시각처럼 서버가 관측하는 신호

문제는 이 정보들이 모두 불완전하다는 점이다. IP 하나로 10배 많은 요청이 오면 의심할 수 있지만, 그것이 VPN이나 공유 인프라일 수도 있다. 그래서 보통은 트래픽의 capability와 intent를 추정해 처리하지만, 여전히 오판과 개인정보 침해의 위험이 남는다.

글은 이를 rate limit trilemma로 정리한다. decentralized, anonymous, accountable를 동시에 완전히 얻을 수 없으며, 웹은 기본적으로 분산되고 익명하지만 책임성은 약하다. 반대로 책임성을 높이면 계정 등록이나 활동 공개가 필요하고, 익명성과 책임성을 함께 얻으려면 Web PKI 같은 강한 거버넌스가 필요하지만 클라이언트 쪽에는 그런 체계가 없다.

결국 중요한 구분은 bot vs. human이 아니라 무엇을 하려는가다. 검색 크롤러, 클라우드 플랫폼, 기업 인프라처럼 식별 가능한 고부하 트래픽은 신원 공개와 안정적 접근이 서로 이득이 될 수 있다. 반면 공격, 스크래핑, 광고 사기, fake account 생성 같은 경우에는 신뢰 가능한 식별과 강한 제어가 필요하며, 앞으로의 웹 보호는 이 목적 중심의 분류로 이동해야 한다.