카카오, AI로 메시징 서버 스트레스 테스트 자동화… 반복 작업 시간 단축

카카오 메시징 팀은 Claude Code와 Codex를 활용해 스트레스 테스트의 반복적인 수작업을 자동화하는 방식을 공개했습니다. 기존에는 빌드, 배포, 부하 생성, 지표 캡처, 보고서 작성까지 개발자가 직접 수행해야 했습니다.

자동화는 LLM을 오케스트레이터로 활용하여 Claude Skill(명령어) 단위로 작업을 그룹화했습니다. 주요 스킬로는 타겟 서버 배포(/deploy-target), 클라이언트 배포(/deploy-stress), Locust 마스터 제어(/run-stress), 대시보드 렌더링(/render-dashboard), AI 리포트 생성(/make-report) 등이 포함됩니다. 이를 통해 "compression type 변경 후 비교 테스트"와 같은 한 줄 프롬프트로 전체 워크플로우를 실행할 수 있습니다.

성능 최적화를 위해 지표 수집 및 분석을 5개의 Subagent로 분할하여 병렬 수행함으로써 메인 세션의 컨텍스트 부담을 줄이고 시간을 단축했습니다. 또한, 50분 이상의 긴 테스트는 Background Bash와 Monitor로 추적하여 메인 세션이 대기하지 않도록 했습니다.

다만, AI가 생성한 리포트가 실제 서버 에러를 숨기거나 배포 실패를 성공으로 오인하는 Hallucination 사례가 발생했습니다. 따라서 검증 기준을 명확히 하고, 최종 판단과 의심은 개발자가 수행하는 'Human-in-the-loop' 원칙이 필수적임을 강조했습니다.