[if kakao 2022] 배치 성능을 고려한 최적의 Aggregation

통계 데이터를 생성할 때 개발자들은 주로 GroupBy, Sum, Count 구문을 사용해 집계 연산을 DB에 위임하는 방식을 사용한다. 하지만 데이터가 수천만 건 이상으로 늘어나면 이러한 방식은 심각한 성능 문제를 야기한다.

Join과 GroupBy를 결합한 복잡한 쿼리는 실행 계획을 예측하기 어렵게 만든다. 인덱스를 설정하더라도 Temporary Table을 생성하거나 Filesort를 유발하여 조회 성능을 급격히 떨어뜨린다.

이러한 쿼리 의존적 방식은 다음과 같은 문제를 일으킨다:

• 연산 과정이 쿼리에 집중되어 데이터베이스 부하를 가중함
• 데이터 규모 변화에 따른 쿼리 튜닝 난이도 상승
• 인덱스 추가 시 쓰기 성능 저하 및 저장 공간 문제 발생

결국 기존의 ItemReader 개선만으로는 한계가 있으며, 복잡한 쿼리를 단순화하고 연산 방식을 근본적으로 바꾸는 새로운 Aggregation 아키텍처가 필요하다.