AQE: Shuffle 이후 파티션 병합

AQE(Adaptive Query Execution)는 실행 단계에서 통계 정보를 바탕으로 쿼리 계획을 동적으로 최적화하는 기술이다. 특히 Shuffle 단계 이후 발생하는 비효율적인 파티션 문제를 해결하는 데 집중한다.

기존 방식은 셔플 후 생성된 파티션의 크기와 상관없이 고정된 개수의 파티션을 사용하여, 데이터가 적은 파티션이 과도하게 생성되는 문제가 있었다. 이는 불필요한 태스크 생성과 스케줄링 오버헤드를 유발한다.

AQE는 셔플된 데이터의 크기를 실시간으로 확인하여, 크기가 작은 파티션들을 하나로 병합(Coalescing)한다. 이를 통해 다음과 같은 이점을 얻을 수 있다.

• 태스크 개수 감소: 불필요한 작은 태스크를 줄여 스케줄링 오버헤드 최적화
• 리소스 효율성: 데이터 크기에 최적화된 파티션 크기를 유지하여 처리 효율 향상
• 쿼리 성능 개선: 데이터 셔플링 및 후속 연산 단계의 병목 현상 완화