Spring Cloud Stream 도입하기

카카오페이 정보플랫폼팀은 다양한 서비스 데이터를 조합하여 외부 기관에 제출하는 업무를 위해 Spring Cloud Stream과 Kotlin을 활용하고 있다.

기존에 사용하던 spring-kafka는 로우 레벨 개발 방식이라 코딩 스타일을 강제하기 어렵고, 데이터 흐름을 파악하기 힘들며 코드 간 결합도가 높아지는 단점이 있었다. 반면 Spring Cloud Stream은 데이터 흐름 제어와 코딩 스타일을 규격화할 수 있어 결합도를 낮추는 데 유리하다.

데이터 추출 로직을 구현할 때, 결제 API, 포인트 API, 하둡 등 각 소스를 개별적인 Function 빈(Bean)으로 정의하여 파이프라인을 구성한다. 이를 통해 새로운 데이터 소스가 추가되거나 기존 로직이 변경될 때 유연하게 대응할 수 있으며, 각 단계의 리소스 분리 및 스케일업이 용이해진다.

Binder를 통해 Kafka나 RabbitMQ 같은 메시지 브로커와 애플리케이션을 연결하며, 추상화된 구조 덕분에 브로커 전환도 간편하다.