kreuzcrawl, 11개 언어 바인딩
kreuzcrawl, an open source Rust crawling engine with 11 language bindings
·2026.04.26 15:19
Rust 기반 오픈소스 크롤링 엔진 kreuzcrawl이 11개 언어 바인딩과 MCP 서버를 공개했다.
kreuzcrawl은 구조화 데이터 추출을 목표로 만든 고성능 웹 크롤링 엔진이다.
- Rust 코어를 중심으로 동작하며, 특정 런타임을 강제하지 않는다.
- MCP 서버가 처음부터 통합돼 있어 AI 에이전트용 웹 크롤링에 바로 쓸 수 있다.
- 스트리밍 크롤 이벤트로 진행 상황을 실시간 추적할 수 있다.
- 배치 작업은 수백 개 URL을 동시에 처리하고, 일부 실패가 있어도 작업을 계속 진행한다.
- 브라우저 렌더링을 지원해 JavaScript가 많은 SPA를 처리할 수 있고, WAF 탐지 기능도 포함한다.
지원 언어 인터페이스는 Rust, Python, TypeScript/Node.js, Go, Ruby, Java, C#, PHP, Elixir, WASM, C FFI까지 총 11개다. 각 바인딩은 코어 엔진에 직접 연결된다.
프로젝트는 Kreuzberg 조직의 일부로 공개됐으며, GitHub와 공식 사이트를 통해 확인할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.