Cloudflare, Apache Iceberg 기반 서버리스 데이터 플랫폼 Basin 정식 출시

Cloudflare가 Cloudflare Basin의 정식 출시(GA)를 발표했다. Apache Iceberg와 R2 Object Storage를 기반으로 한 이 서버리스 데이터 분석 플랫폼은 기존 Cloudflare Data Platform에서 이름을 바꿨으며, 데이터 수집, 저장, 쿼리를 하나의 스위트에서 통합해 속도, 개방성, 비용 효율성을 제공한다.

핵심 구성 요소

Basin은 세 가지 통합 제품으로 구성된다:

• Basin Pipelines: Workers, HTTP, Logpush에서 이벤트를 수집해 SQL로 변환하고 R2에 Iceberg 테이블이나 파일로 저장한다. 스트림당 최대 3GB/s의 수집 속도를 지원한다.
• Basin Catalog: Iceberg 메타데이터를 관리하며 컴팩션, 스냅샷 만료, 매니페스트 최적화를 통해 테이블을 자동으로 유지 관리해 성능을 보장한다.
• Basin SQL: Cloudflare 네트워크에서 Iceberg 테이블을 직접 쿼리하는 서버리스 분산 SQL 엔진으로, 190개 이상의 스칼라 및 집계 함수를 지원한다.

주요 이점

Basin은 R2의 제로 이그레스 요금을 활용해 지역 및 클라우드 제공자 간 데이터 이식성을 가능하게 한다. 개발자는 PyIceberg, DuckDB, Snowflake, Apache Spark 등 Iceberg 호환 엔진을 사용해 데이터를 읽고 쓸 수 있다. 종량제 과금 방식으로 수집, 처리, 쿼리 비용만 청구되며 시간당 인프라 비용은 없다.

향후 로드맵

Cloudflare는 Variant 타입을 포함한 Apache Iceberg V3 지원과 스트리밍 집계를 위한 상태 유지 처리 같은 고급 기능으로 Basin을 확장할 계획이다. 장기적인 비전은 데이터 인프라를 완전히 추상화해 개발자가 리소스 관리 대신 분석 질문에 집중할 수 있도록 하는 것이다.