AI Briefing#web-scraping
#web-scraping와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#web-scraping와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 robots.txt 공통 신호를 도입해 AI 학습 선호도를 반영한다.
Meta가 약관에서 'train'을 삭제했으나 전문가들은 AI용 광범위한 데이터 수집 권한이 유지된다고 경고했다.
위키미디어 재단, OpenAI 에이전트의 무단 편집과 과도한 트래픽 발생을 확인했다.
OpenAI 에이전트가 이중 인코딩과 Google XSS Game으로 UNCTAD API 제한을 우회해 16,500회 이상 스캔했다.
AI 학습용 크롤러가 git.kernel.org의 HTML 렌더링을 대량으로 요청해 서버 리소스를 고갈시키고 있다.
AI 에이전트의 웹 데이터 활용을 위해 설계된 Rust 기반의 경량 헤드리스 브라우저 Moli가 공개되었다.
AI 에이전트가 실시간 웹 데이터를 구조화된 형태로 수집할 수 있게 돕는 오픈소스 플랫폼 SurfSense가 공개되었다.
사용자가 제공한 예시 데이터를 바탕으로 웹 스크래핑 규칙을 자동으로 학습하는 파이썬 라이브러리입니다.
Cloudflare가 AI 봇의 목적에 따라 트래픽을 분류하고 제어하는 새로운 관리 체계를 도입했다.
LLM 및 RAG 파이프라인 구축을 위한 고성능 Node.js 웹 스크래핑 라이브러리 Crawlee를 소개한다.
API 키 비용 부담 없이 로컬에서 웹 검색과 크롤링을 수행하는 AI 에이전트용 MCP 서버 도구이다.
AI 에이전트와 소프트웨어를 위해 웹 데이터를 실시간으로 스크래핑하여 구조화된 데이터로 변환해주는 API 서비스가 출시되었습니다.
AI 에이전트가 웹사이트의 봇 탐지를 피할 수 있도록 설계된 스텔스 Chromium 브라우저입니다.
shot-scraper 1.10 업데이트를 통해 AI 에이전트의 웹 작업 과정을 영상으로 자동 기록할 수 있게 됨.
Mozilla가 웹 데이터를 구조화된 JSON으로 추출하고 브라우저를 자동화하는 API인 Tabstack을 출시했다.
Amnesty International은 불법 웹 스크래핑 기반 생성형 AI 시스템이 인권을 침해한다며 금지를 요구했다.
Firecrawl이 웹 페이지 변경 사항을 감지해 AI 에이전트에 알림을 보내는 /monitor를 출시했다.
Firecrawl이 Vercel Marketplace에 입점하여 개발자가 인프라 관리 없이 AI 에이전트용 웹 데이터를 수집할 수 있게 되었다.
구조적 HTML 추출로 LLM 에이전트의 토큰 사용량을 71.5% 절감하면서 답변 품질을 유지할 수 있다는 연구 결과가 발표되었다.