AutoScraper: 예시 기반 웹 스크래핑 도구

웹 페이지의 구조가 변경될 때마다 CSS 선택자나 XPath를 수정해야 하는 번거로움을 해결하기 위해 개발된 AutoScraper는 사용자가 원하는 데이터의 예시(wanted_list)를 제공하면 스크래핑 규칙을 스스로 학습합니다.

주요 특징은 다음과 같습니다.

• 학습 기반 추출: 특정 값의 목록을 입력하면 해당 값이 페이지 내 어디에 위치하는지 패턴을 찾아내어 유사한 요소를 모두 반환합니다.
• 두 가지 모드 지원: 유사한 요소를 모두 찾는 get_result_similar와 특정 위치의 값을 정확히 가져오는 get_result_exact 기능을 제공합니다.
• 재사용성 및 저장: 한 번 학습된 스크래퍼 객체는 새로운 URL에 재사용할 수 있으며, 파일로 저장하고 불러오는 기능도 지원합니다.
• 호환성: Python 3와 호환되며, MIT 라이선스로 공개되어 상업적 이용이 자유롭습니다.