토스닥터 V2 공개: LLM 기반 자동 테스트 및 자가 복구로 QA 효율 극대화

토스 QA Platform 팀이 기존 스모크 테스트 자동화 도구인 토스닥터 V2를 공개했습니다. V1은 반복적인 수동 테스트 부담을 줄였으나, 화면 변경 시 테스트가 쉽게 깨지고 원인 분석에 많은 인력이 소요되는 한계가 있었습니다. V2는 이를 해결하기 위해 코드 생성, 요소 탐색, 실패 판단, 복구 과정을 LLM과 연동해 대폭 개선했습니다.

LLM 기반 코드 생성과 효율적 요소 탐색

테스트 작성 방식이 절차적 코드에서 Gherkin 문법의 시나리오 기반으로 바뀌었습니다. 사람은 검증할 내용만 작성하고, /codegen 명령이 LLM과 Appium MCP를 활용해 실제 디바이스 화면을 분석하며 실행 코드를 생성합니다. 요소 탐색 시에는 전체 UI 트리를 넘기지 않고 스크린샷과 노출 요소 목록을 먼저 확인하는 3단계 전략을 적용해 토큰 비용을 절감했습니다.

스마트파인더와 자가 복구(Self-healing) 기능

실행 중 예상치 못한 팝업이나 UI 변경으로 테스트가 실패할 경우, 스마트파인더가 즉각 개입합니다. 실패한 화면을 분석해 방해 요소를 제거하거나 대체 요소를 찾아 테스트를 이어갑니다. 검증(then) 단계에서는 유사 매칭을 금지해 거짓 성공을 방지하되, 실패 감지 시 /diagnosis를 통해 원인을 분석하고 recoverable 여부를 판단합니다. 복구 가능하다고 판단되면 /recovery 실행을 통해(locator 수정 등) 사람이 개입하지 않고도 문제를 해결하고 기록합니다.

토스체커로의 확장

토스닥터 V2의 기술적 기반은 더 넓은 범위의 검증을 위한 토스체커로 확장되었습니다. 토스체커는 스모크 테스트를 넘어 리그레션 테스트까지 자동화하며, 기존에 테스터 3명이 이틀간 수동으로 진행하던 작업을 1,375개의 테스트 케이스로 자동화했습니다. 이를 통해 QA 인력은 단순 반복 작업에서 벗어나 검증 설계와 전략 수립에 집중할 수 있게 되었습니다.