Amazon Aurora PostgreSQL, DuckDB 내장으로 Iceberg 및 Parquet 직접 쿼리 지원

Amazon Aurora PostgreSQL, DuckDB 기반으로 Iceberg 및 Parquet 직접 쿼리 지원

Amazon Aurora PostgreSQL이 Apache Iceberg와 Apache Parquet 파일에 대한 직접 쿼리를 지원해 ETL 파이프라인 없이 데이터 레이크의 운영 데이터와 트랜잭션 데이터를 결합할 수 있게 됐다. DuckLabs 인수를 통해 Aurora에 내장된 DuckDB가 이를 뒷받침하며, 데이터 중복 없이 단일 쿼리로 실시간 데이터와 아카이브 데이터를 조인할 수 있다.

지원 버전 및 설정

• 지원 버전: Aurora PostgreSQL 17.11 이상 및 18.6 이상
• 활성화 방법: aurora_analytics 확장 프로그램 활성화 후 AuroraAnalytics 기능이 포함된 IAM 역할 연결
• 데이터 접근: Amazon S3 및 AWS Glue Data Catalog에 저장된 데이터 접근 가능
• 외부 테이블 생성: 수동 생성 또는 IMPORT FOREIGN SCHEMA를 통한 일괄 가져오기 지원 (Parquet 메타데이터 기반 스키마 자동 추론)

성능 최적화

• 읽기 최소화: Predicate pushdown 및 column pruning 적용으로 S3 데이터 읽기량 감소
• 캐싱: 자주 접근하는 데이터는 Aurora 인스턴스 내부에 캐시되어 후속 쿼리 속도 향상
• 모니터링: aurora_analytics_stat_statements()를 통해 성능 지표 확인 가능
• 저지연 워크로드: CREATE TABLE AS SELECT 등 표준 SQL 명령으로 데이터 레이크 결과를 Aurora 네이티브 테이블로 물리화하여 단일 밀리초 단위 지연 시간 요구사항 충족 가능

가용성

현재 모든 AWS 상용 리전에서 추가 비용 없이 사용 가능하다.