입사 첫날에 겪은 36시간의 서비스 점검 기록

쿠키런: 킹덤 출시 직후 폭증하는 로그로 인해 데이터 파이프라인 부하가 커진 상황에서, 데브시스터즈 신입 엔지니어는 입사 첫날부터 36시간의 서비스 점검을 마주했다.

장애의 핵심은 데이터는 정상적으로 존재하지만 CockroachDB 클러스터가 데이터를 인식하지 못하는 문제였다. 점검은 입사 첫날 오후 4시 52분에 시작되었으며, AWS 및 CockroachDB 엔지니어들과의 긴급 화상 회의를 통해 대응이 진행되었다.

당시 팀은 데이터 복구와 롤백(Rollback) 사이에서 최선의 방안을 논의하며 긴박하게 움직였다. 신입 엔지니어의 시선에서 기술적 맥락을 넘어 당시의 긴박했던 상황과 감정을 생생하게 담았다.