9월 29일 장애 업데이트: 읽기 전용 Repl
·2023.10.05 04:43
핵심 내용
Replit은 미완성 빌드 배포 실수로 발생한 Repl 읽기 전용 장애를 해결하고 98%의 데이터를 복구했다.
자세히 보기
지난 9월 29일, Replit의 데이터 저장 인프라에 미완성 빌드가 배포되는 사고가 발생했습니다. 이로 인해 태평양 표준시 기준 14:00에서 16:30 사이의 시간대에 열린 Repl들이 읽기 전용 상태가 되거나 작동을 멈추는 현상이 나타났습니다.
이번 장애의 근본 원인은 배포 가드레일 부족으로 인해, 테스트 클러스터에서 검증 중이던 **미완성 기능(커밋 배치 및 비동기 실행)**이 운영 클러스터에 잘못 배포되었기 때문입니다.
Replit 팀은 즉각적인 롤백과 함께 24시간 복구 작업을 진행하여, 현재 영향을 받은 Repl의 98%를 복구했습니다. 나머지 2%에 대해서도 복구 작업을 지속하고 있습니다.
향후 유사한 사고를 방지하기 위해 다음과 같은 조치를 취할 예정입니다:
- 자동 카나리 분석(Automated Canary Analysis) 도입을 통한 이상 동작 차단
- 장애 확산을 막기 위한 스토리지 인프라 배포 속도 조절
- 더 빠르고 세밀한 데이터 복구를 위한 백업 시스템 업데이트
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.