여기어때, AI 에이전트로 해외투어 QA 티켓 280건 처리… 1일 내 처리율 56%

여기어때 Experience Development팀이 해외투어 서비스 오픈 과정에서 AI 에이전트를 활용해 총 280건의 QA 티켓을 처리한 사례를 공개했다. 프론트엔드 개발자 1인이 담당 범위를 넓힌 상황에서도, 과거 프로젝트(패키지여행 등)의 1일 내 처리율(23~48%)과 비교해 이번 프로젝트의 1일 내 처리율은 56%로 상승하는 등 리드타임이 단축되었다.

QA 파이프라인과 역할 분담

처리 과정은 티켓 접수, 재현, 원인 추적, 검토, 배포의 5단계 파이프라인으로 구성되었다. 핵심 규칙은 '원인 확정 전 코드 수정 금지'였으며, 사람은 원인과 방향을 판단하고 에이전트는 재현·조사·기록 등 확인에 드는 시간을 줄이는 역할을 수행했다.

시뮬레이터 활용 및 디버깅

iOS 16 이하의 스크롤 문제, Android 뒤로가기 흰 화면, 구버전 앱 인증 문제 등을 xcrun simctl, Playwright WebKit, adb 등을 활용해 시뮬레이터로 재현하고 원인을 특정했다. 에이전트가 시뮬레이터를 직접 띄워 버전별 차이를 비교함으로써 처리 시간이 눈에 띄게 감소했다.

MEMORY.md를 통한 지식 공유

에이전트의 세션 간 기억 상실을 보완하기 위해 MEMORY.md 파일을 도입했다. API 문서 위치, 실제 응답과 문서의 불일치 사항, 프로젝트 상태 등을 마크다운 파일로 기록하고, 에이전트가 세션 시작 시 이를 참조하도록 하여 반복 작업과 컨텍스트 유지 효율을 높였다.

실패 사례와 교훈

Git 스테이징 영역 충돌, 검증된 코드 임의 제거, 잘못된 전제 하의 구현 등으로 인한 실패를 겪었으며, 이를 통해 '코드 작성 전 방향 확인'과 '검증된 코드 보호' 등의 규칙을 수립했다. 저자는 티켓 처리 속도보다 에이전트에게 담당 범위와 사전 지식을 학습시키는 것이 중요하며, 정형화된 답안보다 단계적인 교육 방식이 효과적이었다고 결론지었다.