CSP를 중심으로 본 자동화 테스트 실전 사례

올리브영은 반복적인 테스트 리소스를 줄이고 서비스 안정성을 확보하기 위해 자동화 테스트를 도입했다. 특히 모든 기능을 자동화하는 대신, 서비스의 핵심 경로인 **CSP(Critical Serving Path)**를 정의하여 사용자 플로우 위주로 테스트 케이스를 구성함으로써 유지보수 효율성을 높였다.

테스트 환경은 TeamCity를 CI/CD 툴로 사용하며, Selenium과 Appium을 통해 실기기 기반의 정확한 테스트를 수행한다. 주요 수행 시점은 다음과 같다.

• STG 통합테스트 및 정기 배포: 코드 병합 시 발생하는 사이드 이펙트 방지 및 품질 보증
• 긴급/분리 배포: 배포 리스크 최소화 및 주요 기능 품질 보증
• 매일 오전 1회: 인프라 및 백오피스 설정 오류 등 운영 이슈 조기 탐지

특히 단순 UI 확인을 넘어 데이터의 정합성을 검증하는 데 집중한다. 백오피스 API를 통해 실제 존재하는 상품의 재고, 가격, 프로모션 정보를 가져온 뒤, 실제 결제 단계까지의 금액이 일치하는지 확인하는 방식으로 과주문 등의 심각한 문제를 방지하고 있다.