에이전틱 테스팅 - E2E 테스트 스택에서 에이전트의 역할

기존의 E2E(End-to-End) 테스트가 UI를 통한 특정 경로(Journey)를 검증하는 방식이라면, 에이전트 기반 테스트는 사용자의 목표(Goal)를 달성할 수 있는지 검증하는 방식입니다. 에이전트는 목표를 달성하기 위해 경로를 스스로 조정하며 유연하게 동작합니다.

Slack 엔지니어링 팀은 200회 이상의 실험을 통해 세 가지 실행 모델을 비교했습니다:

• Agent + Playwright MCP: 에이전트가 미리 정의된 브라우저 액션을 사용하여 DOM 상태를 읽고 상호작용함
• Agent + Playwright CLI: 에이전트가 쉘을 통해 CLI 명령어를 실행하며 UI 상태에 따라 다음 단계를 결정함
• Generated Playwright Tests: 에이전트가 자연어 설명을 바탕으로 결정론적인 테스트 코드를 생성하고 반복적으로 수정함

실험 결과, 에이전트 기반 테스트는 실행 비용($15–30)과 시간(10분 이상) 측면에서 기존 테스트보다 비싸지만, 탐색적 테스트(Exploratory testing) 계층으로서 기존 테스트 스택에 중요한 역할을 할 수 있음을 확인했습니다.