자연어로 데이터셋을 생성하는 AI 에이전트, BigSet

BigSet은 사용자가 입력한 자연어 문장을 바탕으로 웹상의 정보를 조사, 추출, 검증하여 **구조화된 데이터셋(CSV, XLSX)**으로 만들어주는 AI 에이전트 도구입니다.

주요 특징 및 동작 방식:

• 자동 스키마 추론: 입력된 문장을 분석하여 데이터의 열 이름, 타입, 검색 위치를 스스로 결정합니다.
• 6단계 파이프라인: 문장 입력 $\rightarrow$ 스키마 추론 $\rightarrow$ 개체(Entity) 탐색 $\rightarrow$ 병렬 조사 및 검증 $\rightarrow$ 구조화된 표 생성 $\rightarrow$ 주기적 자동 갱신 순으로 동작합니다.
• 지속적인 데이터 업데이트: 설정된 주기(예: daily, weekly)에 따라 에이전트가 다시 실행되어 최신 상태의 데이터를 유지합니다.
• 기술 스택: TinyFish의 Search/Fetch API, Mastra 워크플로우, Vercel AI SDK, OpenRouter(Claude Sonnet) 등을 활용합니다.

현재 AGPL-3.0 라이선스로 공개된 실험적(Experimental) 프로젝트이며, 로컬 환경에서 npm을 통해 설치하여 사용할 수 있습니다.