Cloudflare, Logpush에 SQL 기반 필터링 및 마스킹 기능 'Transformers' 정식 출시

Cloudflare가 Logpush Transformers를 정식 출시하며, SQL 기반 처리 기능을 Logpush 내보내기 파이프라인에 직접 통합했다. 이를 통해 관측성 팀은 로그가 SIEM, 분석 플랫폼, 또는 객체 저장소에 도달하기 전에 레코드를 필터링하고, 민감한 데이터를 마스킹하며, 출력 구조를 재구성할 수 있다. 별도의 외부 처리 서비스가 필요 없어진다.

Transformers 작동 방식

Transformer는 내보내기 전 특정 Logpush 데이터셋에 적용되는 SQL 쿼리다. WHERE 절을 통과하지 못한 레코드는 삭제되며, SELECT 문이 최종 레코드 구조를 정의한다. 출력은 NDJSON 형식으로 내보내진다. 사용자는 Cloudflare 대시보드나 API를 통해 Transformers를 생성 및 관리할 수 있으며, 업데이트 시마다 감사 추적성을 위해 새 버전이 생성된다.

아키텍처 및 성능

높은 처리량과 신뢰성을 유지하기 위해 Cloudflare은 Cloudflare Workers 같은 외부 컴퓨팅 대신 자체 전달 서비스인 Bufstream 내부에 변환 로직을 내장했다. 이는 내보내기 핫 패스에서의 네트워크 지연과 일시적 타임아웃을 방지한다. 시스템은 Apache Arrow를 기반으로 한 Rust 쿼리 엔진인 Apache DataFusion을 사용하여 SQL 쿼리를 프로세스 내에서 실행한다.

주요 아키텍처 세부 사항:

• 데이터 흐름: Bufstream은 실행 전 Cap'n Proto 레코드를 타입이 지정된 Apache Arrow RecordBatches로 파싱한다.
• Go/Rust 통합: 데이터는 C ABI와 cgo를 통해 Arrow IPC를 사용하여 Go와 Rust 경계 간에 교환된다. 이는 레코드 단위 파싱 오버헤드 없이 효율적인 배치 지향 직렬화를 보장한다.
• 성능: 벤치마크 결과, 5,000개 행 배치에 준비된 Transformer를 실행하는 데 약 3 ms가 소요되었으며, 이는 초당 약 160만 행에 해당한다.
• 신뢰성: Transformers는 실패 시 닫힌다(fail closed). 실행이 실패하면 작업이 진행되지 않아, 변환되지 않은 원시 데이터가 다운스트림 스키마 가정을 위반하는 것을 방지한다.

가용성

Transformers는 Free, Pro, Business, Enterprise 플랜에서 사용 가능하다. 사용자는 Cloudflare 대시보드의 Transformer Studio에 접근하여 쿼리를 작성하고, 샘플 레코드를 기준으로 결과를 미리 보며, 호환되는 NDJSON Logpush 작업에 Transformers를 연결할 수 있다.