Cloudflare, R2 기반 서버리스 이벤트 스트리밍 K2 공개 베타 출시

Cloudflare가 개발자 플랫폼에서 생산자와 소비자를 분리하는 내구성 있는 이벤트 스트리밍 기본 요소인 K2를 공개 베타로 출시했다. 기존 RPC 아키텍처와 달리 K2는 쓰기 작업을 순서 있는 로그로 흡수하여, 다운타임 중에도 데이터를 유실하지 않고 소비자가 자체 속도로 읽을 수 있게 한다.

아키텍처 및 성능

K2는 R2 객체 스토리지 위에 분할된 내구성 있는 로그를 구현하며, R2의 11 nines 내구성과 강한 일관성 API를 활용한다. 이 방식은 복제와 합의 기능을 스토리지 계층으로 위임해 애플리케이션 계층을 단순화하고 컴퓨팅과 스토리지의 독립적 확장을 가능하게 한다. R2가 추가 쓰기를 지원하지 않으므로 K2는 쓰기 작업을 메모리에 축적한 후 완전한 세그먼트 파일로 기록하며, 이로 인해 99th percentile에서 약 1초의 프로듀스 지연이 발생한다.

사용 사례 및 차별점

K2는 대규모 데이터 이동, 장기 보관, 팬아웃 소비를 위해 설계되었으며, Cloudflare의 기존 Queues 및 Basin Pipelines와 구별된다:

• Queues는 재시도 및 데드레터 큐와 같은 복잡한 로직을 가진 개별적이고 고비용의 작업 항목에 최적화되어 있다.
• Basin Pipelines는 객체 스토리지나 Iceberg 테이블로 직접 쓰는 서버리스 인제스천에 권장된다.
• K2는 배치 처리와 맞춤형 대상을 지원하므로, 독립적이고 병렬적인 소비가 필요한 분석 및 사기 탐지 시스템에 적합하다.

가용성 및 가격

K2는 현재 Workers Paid 구독 계정에 제공되며, 베타 기간 동안 사용료는 무료다. 현재 제한 사항은 스트림당 10GB 스토리지와 30 MB/s 프로듀스 속도다. 향후 가격은 생산 및 소비된 데이터에 대해 $0.04/GB, 보관된 데이터에 대해 월 $0.02/GB로 예상한다. 로드맵에는 더 높은 쓰기 병렬성, 메시지 키, 푸시 기반 소비자, Apache Kafka 클라이언트를 위한 드롭인 지원이 포함된다.