서비스웹개발팀, ATDD와 AI 에이전트 활용해 결함 1717건 사전 차단

서비스웹개발팀이 다중 카테고리 선택과 동적 필터 개발 과정에서 ATDD(Acceptance Test-Driven Development)와 AI 에이전트(Claude Code)를 결합한 실험을 진행했다. QA가 개발 완료 전에 전달한 테스트 케이스(TC) 197건을 개발 단계의 자동화 명세로 활용하여, QA 시작 전 1717건의 결함을 사전에 차단했다.

TDD와 ATDD의 이중 루프 구조

실험은 개발자의 단위 테스트 루프(TDD)와 QA의 수용 기준 루프(ATDD)를 명확히 분리하여 진행됐다. QA는 사용자의 언어로 작성된 수용 기준을 먼저 확정하고, 개발자는 이를 통과시키기 위해 내부 로직에서 red-green-refactor 사이클을 반복했다. 이 과정에서 모호한 요구사항이 코드 작성 전에 구체적 예시로 합의되어 해석 오류를 줄였다.

AI 에이전트의 역할과 인간 판단의 경계

197건의 TC를 테스트 코드로 변환하고 검증하는 과정에는 Claude Code가 투입됐다. 에이전트는 TC를 테스트 코드로 옮기는 초안 작성, 전체 코드와 API 응답의 대조, 그리고 구현 오류를 찾아내기 위한 반박 검증(101개 요청)을 수행했다. 다만, 발견된 불일치가 구현 버그인지 TC 오류인지 판단하는 최종 결정은 프로젝트 맥락을 아는 개발자가 직접 내렸다.

실험 결과와 한계

실험 결과 QA가 TC를 처음 실행했을 때 약 **95%**가 한 번에 통과했으며, 서비스 오픈 이후 결함은 발생하지 않았다. 다만 사전에 합의한 'QA 기간 결함 10건 미만' 목표에는 14건으로 미달했다. 저자는 이 14건의 발생 원인을 추적하는 것이 실험의 가장 큰 수확이었으며, 이를 통해 품질 투자의 우선순위를 데이터 기반으로 결정할 수 있게 됐다고 평가했다.