확장 가능한 데이터 추출 서비스 구축 경험 공유

기존의 데이터 추출 방식은 동기적 구조로 인해 대량의 데이터를 요청할 경우 사용자가 브라우저에서 계속 대기해야 했으며, 이는 서버 자원 부족과 백엔드 서비스 부하로 이어졌다.

이를 해결하기 위해 비동기 응답 프로세스를 구현하고, 백엔드 서버와 엑셀 생성 서버를 분리하여 부하를 분산했다. Kafka를 도입해 엑셀 생성 이벤트를 관리하고, 생성된 파일은 S3에 업로드하여 언제든 재다운로드할 수 있도록 개선했다.

데이터 추출 효율을 극대화하기 위해 Spring Batch의 Partitioning 방식을 채택했다. 하나의 Job 내에서 다수의 Secondary를 생성하여 데이터를 분할 처리하고, 여러 개의 엑셀 파일을 만든 뒤 최종적으로 하나로 병합하는 방식으로 작업 효율을 높였다.