Firecrawl, AI 에이전트용 웹 모니터링 도구 출시

Firecrawl이 웹 페이지의 변경 사항을 실시간으로 감지하여 AI 에이전트에게 webhook으로 알리는 /monitor 기능을 출시했다.

기존에는 웹 데이터를 최신 상태로 유지하기 위해 페이지 전체를 반복적으로 스크래핑해야 했으나, /monitor는 변경된 부분(diff)만 추출하여 전달한다. 이를 통해 LLM 토큰 사용량을 최대 90%까지 절감할 수 있는 것이 핵심이다.

주요 특징은 다음과 같다:

• 자연어 기반 설정: URL을 지정하고 무엇을 추적할지 자연어로 설명하여 간편하게 설정 가능.
• 자동화된 워크플로우: 스케줄링, 데이터 차이 비교(diffing), 웹훅 전달 과정을 모두 자동 처리.
• 동적 페이지 지원: Firecrawl의 스크래핑 엔진을 기반으로 하여 JavaScript가 포함된 복잡한 페이지도 안정적으로 추적.
• 비용 예측: 모니터링을 활성화하기 전 예상 월간 비용을 미리 확인할 수 있음.