Go 기반 초고속 웹 스크래핑 프레임워크 GoScrapy

Python Scrapy의 구조를 Go로 네이티브 구현한 고성능 웹 스크래핑 프레임워크다.

goscrapy startproject 한 줄로 프로젝트 구조 생성, Go 모듈 초기화, 의존성 해결까지 자동으로 처리한다.

핵심 흐름은 Spider → Engine → Scheduler → Worker → Middleware → HTTP Client로 이어진다.

• Spider가 요청을 보내면 Engine이 Scheduler에 넘긴다.
• Scheduler가 Worker Queue에서 가용 워커를 할당해 작업을 전달한다.
• Worker와 Executor가 Middleware를 거쳐 HTTP 요청을 수행한다.
• 응답은 역순으로 돌아와 Spider 콜백에 전달되고, yield된 레코드는 PipelineManager를 통해 DB, CSV, 파일 등으로 내보낸다.

기본 제공 기능도 많다. CSV, JSON, MongoDB, Google Sheets, Firebase 내보내기 파이프라인을 포함하고, Azure TLS, Dupefilter 같은 미들웨어를 내장했다.

HTML 파싱은 체이닝 가능한 CSS/XPath 셀렉터를 지원하며, settings.go에서 미들웨어와 파이프라인을 중앙에서 설정하는 구조를 취한다.

실전 예제로는 Google Maps 스크래퍼, Fingerprint Spoofing을 통한 봇 탐지 우회, TUI 실시간 모니터링이 제공된다.

현재는 v0.x 개발 단계이며, 라이선스는 **Business Source License(BSL)**로 상용 제품에는 사용할 수 있지만 프레임워크 자체를 경쟁 서비스로 재판매하는 행위는 제한된다.