데브시스터즈의 장애 대응 원칙과 방법

데브시스터즈는 장애 대응의 최우선 목표를 서비스 정상화로 두고, 원인 규명보다 우선 복구를 강조한다. 대응 가능한 사람은 직무와 관계없이 즉시 힘을 보태고, 판단이 어렵다면 지체 없이 도움을 요청해야 한다.

장애 대응을 위해서는 평소부터 노트북 휴대, 개발/운영 환경 세팅, 테더링 수단 같은 준비가 필요하다. 알람은 반드시 받을 수 있도록 설정하고, 모든 알람은 약식이라도 반응해 불필요한 알람은 조건을 조정하거나 티어를 재배치한다.

알람은 FRT(First Response Time) 기준으로 Tier 0, 1, 2로 나눈다. Tier 0는 고객이 체감하는 문제나 서비스 안정성에 직접 위험이 있는 경우로, 가장 빠른 대응이 필요하다. Tier 1은 즉시 고객 영향은 없지만 Tier 0으로 번질 수 있는 기술적 문제, Tier 2는 직접 영향은 낮지만 일정 내 개입이 필요한 인증서 만료, 정책 위반, 비용 알람 같은 이슈다.

실제 장애가 나면 먼저 팀에 즉시 공유하고, 최소 2인 이상의 대응 팀을 구성한다. 역할은 지휘자와 기록가로 나누며, 지휘자는 방향을 잡고 의사결정을 이끌고, 기록가는 원인·가설·조치·시간순 타임라인을 빠짐없이 남긴다.

장애 대응 채널은 Datadog Incident로 열고, 주 커뮤니케이션은 Slack 메시지로 남겨 나중에 추적할 수 있게 한다. 장애 종료 시에는 종료 시간, 추정 원인, 조치 내역, 포스트모템 일정을 명확히 공유하고, 상태를 Active에서 Stable 또는 Resolved로 정리한다.

사후에는 포스트모템을 통해 같은 문제가 반복되지 않도록 원인과 조치, 교훈, 액션 아이템을 정리한다. 비난 없는 회고를 원칙으로 하며, 실패를 개인이 아니라 시스템을 강화하는 기회로 삼아야 한다는 점을 강조한다.