AWS Glue 6.0, 30% 가격 인하 및 Apache Iceberg v3 전체 지원으로 출시

AWS는 AWS Glue 6.0의 일반 가용성을 발표했습니다. 이번 버전은 기존 대비 30% 낮은 가격을 제공하며, Apache Spark 4.1, Python 3.12, Scala 2.13 기반의 현대화된 런타임으로 성능을 향상시켰습니다.

AWS Glue 6.0은 서버리스 관리형 Spark 서비스 중 가장 완전한 Apache Iceberg v3 구현을 제공합니다. 특히 VARIANT 데이터 타입과 shredding 지원으로 반구조화 데이터의 쿼리 읽기 성능을 크게 높였습니다. 이를 통해 스키마 변경 시 파이프라인 중단 없이 JSON 및 로그 데이터를 효율적으로 처리할 수 있습니다.

주요 신규 기능은 다음과 같습니다.

• Geospatial 지원: GIS 분석 및 위치 정보 처리를 위한 Geometry/Geography 데이터 타입 네이티브 지원.
• 나노초 정밀도 타임스탬프: IoT 및 고빈도 금융 워크로드를 위한 정밀도 향상.
• Spark Declarative Pipelines: ETL 작성 단순화를 위한 선언형 파이프라인 도입.
• Arrow-native Python UDFs: 직렬화 오버헤드 제거로 PySpark 성능 개선.
• 실시간 스트리밍 모드: 단일 자릿수 밀리초 지연 시간을 달성하는 실시간 이벤트 처리 지원.

기존 API 변경 없이 --glue-version 파라미터를 통해 AWS CLI, SDK, Glue Studio 등에서 바로 사용할 수 있습니다. 모든 AWS 리전에서 서비스되며, 크롤러 및 ETL 작업은 초당 과금 방식이 적용됩니다.