쿠키런: 킹덤 AWS AZ 장애 분석

2021년 2월, AWS 도쿄 리전 데이터센터의 냉각 시스템 고장으로 서버가 과열되며 다수의 노드가 작동 불능 상태에 빠졌다. 이로 인해 데브시스터즈의 CockroachDB 노드 6대가 22분 만에 순차적으로 장애를 겪었다.

CockroachDB는 Raft 알고리즘을 기반으로 과반수 이상의 노드가 정상 동작하면 서비스를 유지하는 분산 데이터베이스다. 당시 데브시스터즈는 Replication Factor를 7로 설정하여 최대 3대의 노드 장애까지 견딜 수 있도록 설계했으나, 예상치를 훨씬 상회하는 6대의 노드가 동시에 장애를 일으켰다.

결과적으로 전체 25,000개의 Range 중 Data Range 2개와 System Range 32개가 소실되었다. 이는 Multi-AZ를 고려한 Locality 설정을 적용하지 않고, 클라우드 서비스의 안정성을 신뢰하여 Instance Retirement 시나리오에만 대비했기 때문이었다.