TinyFish의 Bigset, 텍스트 프롬프트를 실시간 데이터셋으로 변환

TinyFish가 출시한 Bigset은 자연어 문장을 입력하면 웹에서 실시간으로 데이터를 수집해 구조화된 데이터셋으로 만들어주는 오픈소스 멀티 에이전트 시스템이다. 사용자가 원하는 내용을 설명하면 시스템이 자동으로 스키마를 추론하고, 자율 에이전트를 투입해 웹 페이지를 조사하며, 결과 검증 및 중복 제거를 거쳐 CSV나 XLSX 형식의 깔끔한 테이블로 제공한다. 데이터셋은 30분에서 일주일 단위로 자동 갱신되도록 설정할 수 있어 별도의 스크립트 작업 없이도 최신 상태를 유지한다.

시스템은 두 가지 에이전트 역할로 나뉜다. 오케스트레이터(Orchestrator) 에이전트는 데이터셋에 포함될 행(row)과 웹상의 위치를 식별하는 광범위한 탐색을 수행하며, **서브 에이전트(Sub-agent)**는 각 개별 엔티티를 조사하여 데이터를 채운다. 서브 에이전트는 TinyFish Search와 Fetch를 통해 실시간 데이터를 가져오며, 효율성을 위해 6회의 도구 호출(tool calls) 제한 내에서 작업을 수행한다.

데이터의 신뢰성을 위해 서브 에이전트는 값을 임의로 조작하지 않으며, 확인되지 않은 필드는 빈칸으로 남겨둔다. 기술적으로는 Claude Sonnet 4.6을 통한 스키마 추론과 Qwen3.7-max 기반의 에이전트 역할을 지원하며, OpenRouter를 통해 구성할 수 있다. Docker를 통해 셀프 호스팅이 가능하며 AGPL-3.0 라이선스를 따른다.

Palo Alto에 본사를 둔 TinyFish는 ICONIQ의 주도로 4,700만 달러 규모의 Series A 투자를 유치했으며, Google, DoorDash, Amazon 등을 고객사로 보유하고 있다. Bigset은 기존의 유료 데이터셋 도구들에 대한 오픈소스 대안으로, 도메인 제한 없이 사용자가 전체 파이프라인을 직접 소유할 수 있다는 장점이 있다.