토스의 속도와 품질, 상용 도구로 충분한가 — Tossion

토스 QA Platform 팀은 자동화 테스트, 매뉴얼 테스트, 테스트 케이스와 판정 근거가 흩어져 있던 문제를 해결하기 위해 자체 **QA 플랫폼 토션(Tossion)**을 만들었다. 상용 TCM(Test Case Management System)의 제한된 확장성과 느린 개선 주기를 벗어나, 필요한 기능을 직접 개발하고 즉시 반영하는 것이 목표다.

토션은 프로젝트 → 스위트 → 섹션 → 테스트 케이스 구조를 기반으로 한다. 테스트 케이스가 변경돼도 과거 검증 기록은 유지되도록 테스트 런을 별도로 저장하며, 런 생성 시 Assignee, Test Step, Description을 당시 값으로 복사해 한 행으로 보존한다.

테스트 런의 주요 동작은 다음과 같다.

• 상태를 Active → Completed → Closed 순서로 관리
• 상태 변경 이력을 테스트 런의 각 행에 기록
• Closed 시 테스트 케이스, 코멘트, 자동화 결과를 스냅샷으로 고정
• 섹션, Type, Platform 기준으로 테스트 케이스를 선택
• 사람이 직접 지정한 테스트 케이스는 필터보다 우선 처리
• Assignee별 진척도와 테스트 잔여 건수를 차트로 제공

여러 사람이 동시에 테스트하는 상황을 고려해 현재 접속자와 편집 중인 항목을 표시하고, 항목별 잠금과 자동 해제를 지원한다. 다른 사용자가 변경한 Status도 새로고침 없이 반영된다. 필요한 항목만 남기도록 Status, Type, Assignee, Version, Platform, RNR, History 등의 필드를 실제 사용성에 맞춰 추가하거나 제거할 수 있다.

토스는 속도와 품질을 함께 확보하려면 도구의 로드맵을 기다리는 방식으로는 부족하다고 판단했다. 테스트 케이스 생성, PR 분석, 회귀 테스트 자동화 작성과 실행 등 QA 업무 전반을 AI로 효율화하기 위해서는 새로운 요구를 즉시 플랫폼에 반영할 수 있어야 한다는 설명이다.

토션의 PR 분석기는 RC 빌드 배포 직후 릴리즈 마일스톤이나 RC 태그에 포함된 PR을 수집한다. QA 라벨이 붙은 PR과 그렇지 않은 PR을 나눠 분석하고, 특히 개발자가 QA 대상이 아니라고 분류한 변경 중 실제로 검증이 필요한 항목을 다시 찾아 릴리즈 전체 요약과 함께 제시한다.

분석은 토션에 등록된 QA 에이전트가 담당한다. 에이전트는 주기적으로 작업을 확인한 뒤 QA 서버에 로그인된 AI를 실행하며, PR이 많을 때는 전체를 여러 묶음으로 나눠 동시에 처리해 누락을 줄이고 분석 속도를 높인다.