버그가 아니라 장애를 잡아라!! QA와 카오스 엔지니어링의 만남

이커머스 서비스는 24시간 운영되므로 다양한 원인에 의한 장애 발생 가능성이 높습니다. QA 팀의 철저한 테스트만으로는 완전한 안정성을 보장하기 어렵기 때문에, 올리브영은 예측 가능한 장애를 사전에 실험하는 카오스 엔지니어링을 도입하기로 결정했습니다.

카오스 엔지니어링은 시스템의 **복원력(Resilience)**을 높이기 위해 일부러 장애를 일으켜 취약점을 찾는 방법론입니다. 실험 유형으로는 애플리케이션, 호스트, 리소스, 네트워크, AZ, 리전, 그리고 사람의 실수(People Attack)를 시뮬레이션하는 방식 등이 있습니다.

올리브영은 그중에서도 Application Level 테스트를 최우선 과제로 선정했습니다. 과거 발생했던 null exception 문제를 방지하기 위해, API 응답 값에 의도적으로 null을 주입하여 서비스 전체가 중단되지 않고 특정 영역만 노출되지 않는 방식으로 정상 동작하는지 검증합니다.

테스트의 효율성과 프로세스화를 위해 mitmproxy를 활용한 프록시 구성 방식을 채택했습니다. 이를 통해 HTTP(S) 트래픽을 가로채고 응답 데이터를 조작함으로써, 수동 작업의 번거로움을 줄이고 체계적인 실험 환경을 구축했습니다.