당근, 한 문장 입력으로 실제 기기 테스트 실행하는 QAHub 공개

당근 모바일실이 테스트 자동화 플랫폼 QAHub를 공개했다. 이 플랫폼은 사용자가 한 문장을 입력하면 AI가 테스트 흐름(Flow)을 생성하고, 실제 기기에서 앱을 조작해 검증하는 과정을 자동화한다.

중앙화된 테스트 데이터와 AI 활용

처음에는 흩어진 테스트 기록을 통합해 22개 프로젝트와 2,000개 이상의 테스트케이스를 관리하는 기반을 마련했다. 이후 기획 문서와 코드를 분석해 테스트 시나리오를 생성하는 Test Copilot을 도입해 작성 형식을 통일하고 누락을 방지했다.

실행 안정화를 위한 자가 복구(Self-healing)

팝업이나 변경된 Selector로 인해 테스트가 멈추는 문제를 해결하기 위해 Self-healing 기능을 적용했다. AI가 화면을 분석해 막힌 요소를 찾아내거나 팝업을 닫고 진행하며, 복구 성공 시 추천 Selector를 슬랙으로 전달해 코드 반영을 돕는다. 8월 기준 복구 필요 테스트의 90% 이상이 사람 개입 없이 통과했다.

코드와 AI의 결합 및 경로 재사용(Path Replay)

정해진 동작은 코드로, 화면 판단이 필요한 부분은 AI로 처리해 효율성을 높였다. 특히 Path Replay 기능을 통해 AI가 성공한 실행 경로를 저장하고 재사용한다. 화면 스크린샷을 64비트 지문으로 비교해 유사한 화면을 인식하며, 기억된 경로를 사용할 경우 AI 호출 없이 수 초 만에 실행된다. 8월 기준 리그레션 테스트의 **44%**가 이 기능을 활용해 실행 시간과 비용을 절감했다.

페르소나 검증과 실패 분석

가상 사용자 페르소나를 설정해 문구 이해도나 사용성 문제를 점검하며, 실패 시 스텝별 스크린샷과 AI 판단 기록을 제공해 디버깅을 지원한다. 실패 원인을 설명할 때는 실제 로그와 기록에 근거해 오진을 최소화한다.