Managed Service for Apache Spark 클러스터의 새로운 기능

Google Cloud는 대규모 분석 및 데이터 과학 워크로드를 효율적으로 처리하기 위해 Dataproc 서비스를 Managed Service for Apache Spark로 개편하며 Agentic Data Cloud와의 통합을 강화했다. 이 서비스는 인프라 관리가 필요 없는 serverless 모드와 세밀한 커스터마이징이 가능한 managed clusters 모드로 제공된다.

Managed Spark 클러스터는 실행 속도를 높이는 faster, 운영 오버헤드를 줄이는 easier, AI를 통합하는 smarter라는 세 가지 핵심 축을 중심으로 재설계되었다.

가장 주목할 만한 업데이트는 Lightning Engine의 도입이다. Velox와 Gluten을 기반으로 한 C++ 벡터화 실행 엔진을 통해 JVM의 병목 현상을 제거하고 SIMD 벡터화를 최적화한다. 이를 통해 기존 오픈소스 Spark 대비 최대 4.9배 빠른 성능과 경쟁사 대비 최대 2배의 가성비를 제공하며, 기존 코드 변경 없이 바로 적용할 수 있다.

또한, 리소스 확보를 용이하게 하기 위해 Flexible VMs 기능이 정식 출시되었다. 사용자는 최대 10개의 우선순위가 지정된 머신 유형을 정의할 수 있으며, 시스템이 리전 내 가용 자원을 자동으로 스캔하여 최적의 하드웨어 레이아웃을 배치한다. 이를 통해 리소스 부족으로 인한 클러스터 생성 실패를 방지하고 Spot VM 활용도를 극대화할 수 있다.