올리브영 QA의 AWS Lambda를 활용한 On-call 시스템 도입기

기존에는 슬랙 알림에만 의존하여 장애 전파가 누락될 위험이 있었으나, 이를 해결하기 위해 AWS Lambda 기반의 자동화된 On-call 시스템을 도입했다.

시스템은 슬랙봇 명령어로 인시던트를 생성하면 Lambda가 Slack 채널을 생성하고 관련 유저를 자동으로 초대하며, CloudWatch Logs를 트리거로 하여 Jira 티켓을 자동 생성하는 구조로 동작한다. 이후 최종적으로 온콜 웹훅을 호출해 담당자에게 전화 알림을 발송한다.

도입 과정에서 사내망에 있는 Jira와 외부망인 AWS Lambda 간의 통신 문제를 인프라 팀과의 협업을 통해 해결했으며, 코드의 가독성과 유지보수성을 위해 함수를 분리하여 안정성을 높였다.

이번 도입을 통해 장애 발생 시 즉각적인 연락과 티켓 생성이 가능해져 장애 인지 및 처리 속도가 크게 향상되었다.