Kafka 메시지 중복 및 유실 케이스별 해결 방법

올리브영은 OMS(Order Management System) 프로젝트를 통해 기존 EAI와 Batch 기반의 연동 방식을 Kafka 기반의 실시간 인터페이스로 전면 개편했다. 이를 통해 처리량을 기존 대비 최대 45배까지 향상시키며 안정적인 데이터 송수신 구조를 구축했다.

메시지 전송 시 발생할 수 있는 중복과 유실 문제를 해결하기 위해 다음과 같은 설정을 적용했다.

• Producer - Broker 구간

  • 유실 방지: acks=all 옵션과 retries 설정을 통해 메시지 전달을 보장한다.
  • 중복 방지: enable.idempotence=true 옵션을 사용하여 네트워크 오류로 인한 재시도 시에도 메시지가 한 번만 저장되도록 멱등성을 보장한다.

• Consumer - Broker 구간

  • 유실 방지: auto.offset.reset=earliest와 Graceful Shutdown(immediate-stop=false) 설정을 통해 컨슈머 재기동 시 데이터 유실을 막는다.
  • 중복 방지: AcksMode=MANUAL_IMMEDIATE 설정을 통해 메시지 처리 완료 후 명시적으로 Ack를 전달함으로써 중복 소비를 방지한다.