컬리, QA AI Hub로 TC 작성 공수 36.7% 절감하고 결함 등록까지 자동화

• QA 총 투입 시간의 절반 이상이 TC 작성에 소요되던 문제를 해결하기 위해 AI 기반 플랫폼을 구축함
• 137개 과제 실측 결과 AI가 TC 작업의 70%를 대체하고, 1인당 월 담당 과제 수는 59% 증가함
• 정답 TC와 도메인 정책 문서가 있을 때 AI 생성 품질이 95점으로 높아지는 등 참조 자산이 품질을 결정함
• 테스트 데이터 부족이 실행 병목의 71%를 차지해 데이터 자동 생성과 개인 노하우의 팀 자산화가 다음 과제임

핵심 성과 지표

• 커머스 도메인에서 과제당 준비 기간이 35% 줄고, TC 1,000건당 준비 공수가 36.7% 감소함
• AI 실행 신뢰도 검증 결과 거짓 PASS 비율은 0.64%로 낮게 유지됨
• 물류 도메인은 연동 복잡성으로 정제 공수가 커머스의 두 배를 초과해 도메인별 차등 적용이 필요함

기술 아키텍처

• Next.js 15 서버와 QA 개인 PC의 Node.js 워커로 구성된 분산 구조를 채택함
• Claude Code와 Playwright, Mobile MCP를 활용해 자연어 TC를 기반으로 화면을 조작함
• 스킬 준수 검증과 Claude Code hook을 이중 게이트로 적용해 품질 미달 산출물 유출을 차단함