OpenAI, Pando Git 백엔드 도입으로 푸시 지연 80% 단축 및 일일 1PB 처리

• OpenAI가 자체 Git 백엔드 Pando를 구축 및 배포하여 중앙값 푸시 지연 시간을 약 5배(약 80%) 단축하고, 매일 약 1페타바이트의 Git 데이터를 처리함
• Pando는 전통적인 3단계 커밋 및 write-ahead log 방식을 인과적 일관성 모델로 대체하여, 푸시 시 O(1) 메타데이터 쓰기 및 fetch 시 O(log Δ) 읽기 가능
• 클라이언트별 packfile 생성 대신 저장된 packfile을 재사용하여 OpenAI 모노레포에서 중앙값 packfile 크기를 20 KiB 미만, 99퍼센타일 크기를 3 MiB 미만으로 유지
• Codex를 활용해 10주 만에 개발했으며, GPT-6 Astra로 Lean과 TLA+를 작성해 형식 검증(formal verification)을 수행하고 4월부터 프로덕션 트래픽을 서비스함

아키텍처 및 일관성

• 전체 저장소의 시점별 스냅샷 없이 개별 ref 업데이트의 직렬화 가능성을 보장하는 인과적 일관성을 채택
• 푸시를 blob store의 불변 객체로 저장하고 ref 버전을 메타데이터 store에 기록하여 read-your-own-write 일관성 보장
• fetch 시 필요한 ref 버전을 재구성해 특정 packfile을 선택하며, Git 프로토콜의 packfile-uri 기능을 활용해 빈 pack의 인라인 전송 지원

성능 및 확장성

• 매일 약 1페타바이트의 Git 데이터를 처리하며, Express 서비스를 통해 요청의 99% 이상을 로컬 디스크 캐시로 처리
• 일관성 해싱을 사용해 지리적 클러스터 간 packfile 요청을 라우팅하여 높은 캐시 히트율 유지
• 서버, 메타데이터 store, blob store를 병렬로 추가해 수평 확장이 가능하며, 표준 클라우드 VM에서 10 Gbps 네트워크 링크를 포화 상태로 가동

구현 및 유지보수

• Rust로 구현했으며, 불변식과 레이스 조건을 검증하기 위해 적합성 테스트 스위트 및 결정적 시뮬레이션 하네스 사용
• 컴팩션을 위해 log-structured merge-tree 설계를 적용하여 L0 packfile을 L4까지 기하급수적으로 확장되는 커버로 수집해 압축률 및 선택 속도 향상
• 병렬 다운로드 지원, 명시적 haves, packfile-uri 바이트 카운트 트레이싱 등 개선 사항을 upstream Git 프로젝트에 기여