AWS MSK Connect 효과적으로 운영하기

올리브영 B2B 물류 스쿼드는 모놀리식 레거시를 MSA로 개편하며 AWS MSK Connect를 도입했다. 이를 통해 **비동기 통신(Asynchronous Communication)**과 **CDC(Change Data Capture)**를 구현하여 배치 시스템 의존도를 낮추고 실시간 데이터 처리를 강화했다.

**MSK(Amazon Managed Streaming for Apache Kafka)**는 Broker, Producer, Consumer 구조로 이루어져 있으며, 데이터 일관성 유지와 대량 데이터 송수신에 최적화되어 있다. MSK Connect는 다양한 외부 시스템(S3, MongoDB, Elasticsearch 등)과 Kafka 간의 데이터 연동을 지원하는 플러그인 기반 서비스다.

안정적인 운영을 위한 핵심 전략은 다음과 같다.

• 데이터 가용성 확보: Replication Factor를 설정하여 장애 발생 시 Follower Partition이 Leader Partition으로 승격되도록 구성함으로써 데이터 손실을 방지한다.
• 리소스 최적화: Partitions 수와 Replication Factor의 곱이 총 저장소 개수를 결정하므로, 데이터 특성에 맞는 적절한 설정이 필요하다.
• 데이터 경량화: 늘어나는 저장 공간 문제를 해결하기 위해 Avro 포맷을 활용하여 데이터 크기를 최적화한다.