GitHub, Azure 용량 2배로 확대했으나 10월 반복적 장애 발생

GitHub이 독립적으로 확장 가능한 Azure 용량을 대폭 추가하여 Central US의 9개 Kubernetes 클러스터 컴퓨트 용량을 2배 이상으로 늘렸으며, 3월 이후 마이그레이션된 서비스 트래픽은 82% 증가함
Azure Central US는 현재 151개 프로덕션 서비스 중 140개, 50개 MySQL 프라이머리 중 32개를 호스팅하며, 마이그레이션된 서비스 읽기 요청의 63%, 모놀리스 읽기 요청의 66%, Git 읽기 요청의 52%를 처리함
신뢰성 개선 조치로 NAT 게이트웨이 사용량을 85% 줄이는 완화 방안과 하루 2억 5,000만 건 이상의 요청을 처리하는 고트래픽 Actions 엔드포인트의 데이터베이스 부하를 85% 낮추는 조치를 시행함
10월에는 3시간 동안 지속된 Actions 큐잉 장애, 구식 데이터베이스 라우팅 기록으로 인한 19분간 쓰기 장애, Central US 가용성 영역 3곳 전체와 최소 34,128명의 로그인 사용자에게 영향을 준 Azure 네트워크 장애가 발생함
East US 3 구축은 계획보다 약 1주 지연되었으며, 검증된 트래픽 램프업은 12월 첫 주에 예정되어 있음

Incident Details

10월 5일: 부분적인 네트워크 장애로 GitHub Actions 작업이 최대 90분간 대기하며 GitHub 호스팅 러너에 영향을 주고 GitHub Pages 업데이트가 지연됨
10월 7일: 새로운 데이터베이스 오케스트레이션 머신이 폐기된 서버에 잘못된 라우팅 설정을 게시하여 총 19분간 두 번의 쓰기 장애가 발생함
10월 29일: Azure 네트워크 장애로 Central US 가용성 영역 3곳 전체가 영향을 받아 최소 34,128명의 로그인 사용자가 피해를 봄
10월 28일: 업스트림 모델 제공자의 잘못된 자격 증명 문제로 Copilot의 특정 GPT 계열 모델 요청 중 약 10%가 실패함