메시징 시스템 QA, 정합성을 지켜낸 올리브영의 이야기

올리브영은 기존 배치 기반에서 실시간 메시지 기반 데이터 처리 구조로 전환하며, 시스템 간 데이터가 일치하지 않는 데이터 정합성 문제에 직면했습니다. 이를 해결하기 위해 QA팀은 UI 테스트와 API 테스트라는 두 가지 전략을 수립했습니다.

UI 테스트는 실제 사용자 환경에서 데이터 적재를 확인하는 기초적인 단계이며, API를 이용한 테스트는 데이터가 여러 테이블을 거쳐 최종 테이블에 도달하는 전 과정을 검증하는 핵심 전략입니다. 이를 통해 단계별 데이터 불일치를 자동으로 감지할 수 있습니다.

테스트 자동화 시스템은 다음과 같은 도구들을 조합하여 구축되었습니다.

• Postman: API 응답값을 비교하는 스크립트 작성 및 관리
• Teamcity: 테스트 스크립트 스케줄링 및 실행 관리
• Datadog: 테스트 결과 시각화 및 이상 징후 알림

효율적인 테스트를 위해 변경된 상품 리스트를 조회한 후, 상품 번호를 20개씩 분할하여 API를 호출함으로써 타임아웃과 알림 글자 수 제한 문제를 방지하며 정합성을 검증하고 있습니다.