토스 QA, 점진 배포 환경서 핫픽스 판단 기준 재설계 및 AI 기반 크래시 분석 도입

토스 QA Platform 팀은 점진 배포 환경에서 기존 심각도(Critical, Major 등) 기준이 핫픽스 판단에 부적합함을 발견하고, 이를 '진행할지 다음 배포로 넘길지'를 결정하는 구조로 재설계했다. 1% 사용자에게만 발생한 문제라도 잠재적 위험을 고려해야 하며, 반대로 특정 조건에서만 발생하는 문제는 무리한 핫픽스가 새로운 위험을 초래할 수 있기 때문이다.

핫픽스 판단 및 검증 프로세스

핫픽스 진행 여부는 릴리즈 마스터와 큐에이 마스터가 배포 관점과 품질 관점에서 합의하여 결정한다. 기본 기능 마비, 매출 영향, 규제 위반 등은 즉시 진행하며, 이용률이 낮거나 우회 방법이 명확한 경우 다음 정기 배포로 넘긴다. 시간 기준 버퍼를 없애고 '충분한 검토'에 집중하도록 변경했다.

크래시 발생 시 재현 시간을 단축하기 위해 Claude 스킬 기반의 crash-path 도구를 개발했다. 이 도구는 Bugsnag(Android)와 Firebase Crashlytics(iOS) 데이터를 자동으로 수집해 사용자 행동 로그와 환경 정보를 분석하며, AI가 화면 이름이나 재현 신호를 임의로 추측하지 않도록 규칙을 적용해 일관된 결과를 제공한다.

기록 관리 및 재발 방지 체계

핫픽스 기록을 토션(Tossion) 플랫폼에 통합하여 iOS와 Android의 형식 차이를 해소하고 누구나 열람할 수 있게 했다. 진행하지 않기로 한 핫픽스도 사유를 기록해 향후 판단의 근거로 활용한다. 초기에는 사후 기록을 번거롭게 해 핫픽스를 줄이려 했으나, 이는 기록 부실로 이어져 실패했다. 이에 따라 AI 봇이 채널 대화 맥락을 바탕으로 사후 기록 초안을 자동 생성하도록 해 부담을 낮추고 맥락을 보존하는 방식으로 전환했다.

매달 Android, iOS, QA 팀이 모여 핫픽스를 리뷰하고 재발 방지 액션을 점검하며, 단순한 다짐이 아닌 실제 이행 여부를 확인하는 폐쇄 루프를 운영한다.