RabbitMQ Classic Queue 메모리 장애와 Quorum Queue 전환기

1,500만 건의 대규모 쿠폰 발급 과정에서 RabbitMQ 클러스터의 메모리 과다 점유로 인해 메시지 처리가 중단되는 장애가 발생했습니다. 특정 노드가 unsynchronized 상태로 전환되면서 데이터 무결성을 위해 메시지 소비가 완전히 멈추는 상황이었습니다.

Classic Mirrored Queue의 구조적 한계가 주요 원인이었습니다. Master 노드와 Mirror 노드 간의 동기화 과정에서 메모리 부족으로 응답이 지연되면, RabbitMQ는 데이터 안전성을 위해 동기화가 해소될 때까지 메시지 처리를 중단합니다. 이는 가용성 측면에서 치명적인 약점으로 작용합니다.

장애 대응을 위해 다음과 같은 과정을 거쳤습니다.

• 긴급 복구: 기존 브로커 대신 독립 운영 방식의 새로운 RabbitMQ 브로커를 생성하여 30분 만에 서비스를 정상화했습니다.
• 원인 재현: 개발 환경에서 대량 메시지 유입과 브로커 강제 재시작 시나리오를 결합하여 unsynchronized 상태를 재현하는 데 성공했습니다.
• 해결 방향: RabbitMQ 팀에서도 Classic Mirrored Queue의 한계를 인정하고 권장하고 있는 Quorum Queue로의 전환을 통해 안정성을 확보하고자 합니다.