무신사, Playwright와 AI 기반 TC 생성기로 회귀 테스트 시간 1일에서 30분으로 단축

무신사 Retail Platform QA팀은 Playwright와 Slack 봇, AI 기반 테스트케이스(TC) 생성기를 구축하여 정기 배포 시 발생하던 회귀 테스트 병목을 해결했다. 기존에는 수동 테스트로 하루가 소요됐으나, 현재는 자동화된 범위 내에서 30분 만에 테스트를 완료한다.

Playwright 기반 UI 자동화 전략

Selenium과 Cypress 대신 Playwright를 선택한 이유는 자동 대기(Auto-wait), 네트워크 인터셉트, Trace Viewer 기능 때문이다. 특히 Page Object Model(POM) 패턴을 적용해 UI 변경 시 유지보수 비용을 낮췄으며, Okta 인증 세션을 워커 단위로 공유해 실행 시간을 최적화했다. 스모크 테스트와 회귀 테스트를 분리해 핵심 결제 흐름은 빠르게 확인하고, 엣지케이스는 정기 배포 전 집중 검증한다.

AI 기반 테스트케이스 생성 및 Slack 연동

기획 문서를 입력하면 AI가 마인드맵을 통해 테스트 구조를 시각화하고, 검토 후 구체적인 테스트케이스를 생성하는 파이프라인을 구축했다. Claude는 복잡한 도메인 로직 해석에, Google Gemini는 반복적인 패턴 생성에 각각 활용하며 두 모델을 병렬로 실행해 속도를 높였다. 또한 Slack 봇 @doomto를 개발해 CI/CD 접근 권한이 없는 팀원도 명령어로 테스트를 트리거하고 결과를 실시간으로 공유할 수 있도록 했다.

성과 및 향후 계획

현재 41개 파일, 234개 테스트 케이스가 자동화되었으며, mPOS 등 복잡한 도메인의 결제 및 회원 유형별 시나리오를 커버한다. 테스트 플랜과 TC 문서 작성 시간도 대폭 단축됐다. 향후에는 Retail Platform을 넘어 PBO 전체 도메인으로 기능을 확장할 계획이다.