OpenAI Habitat, 10억 명 규모로 확장하며 글로벌 읽기 레이턴시 10ms 달성

• 2026년 초 시작된 성능 최적화 이후 글로벌 읽기 p50 레이턴시가 약 120ms에서 10ms로 12배 개선됨
• Azure Cosmos DB에서 500PB 이상의 데이터를 처리하며, 40개 지리적 지역에 걸쳐 10억 명 이상의 사용자에게 밀리초 단위 응답 제공함
• 격리된 컨테이너에서 핫키 스로틀링과 QoS(Quality of Service) 우선순위가 적용된 공유 컨테이너로 멀티테넌시 전략을 전환하여 프로비저닝 및 노이시 네이비어(Noisy Neighbor) 이슈를 제거함
• 페일오버 스탬페드(Failover Stampede) 해결 및 컨트롤 플레인 최적화를 통해 수십 PB 규모 데이터와 2,000만 QPS 이상을 지원하는 단일 계정 안정성 확보함

Performance Optimization

• Habitat 트래픽의 90% 이상이 읽기 요청으로 구성되어 있어 레이턴시 절감에 초점을 맞춤
• 데이터 거주성 요구사항과 물리적 클라우드 용량 한계(전력, 냉각, 저장소)로 인해 모든 사용자에게 데이터를 가까이 배치하는 것이 불가능함
• 인증 메타데이터와 같이 레이턴시에 민감한 소규모 데이터셋은 여러 Azure 지역에 복제되며, 일부 계정은 40개 지역 전체, 다른 계주는 대륙별 최소 1개 지역에 복제됨
• 서로 다른 복제 토폴로지를 가진 데이터셋을 처리하기 위해 투명한 데이터 이동 및 라우팅 레이어를 구축함

Caching and Infrastructure

• 사용자 요청 인프라 근처에 Valkey 서버를 배치한 분산 캐싱을 통합하여 크로스리전 레이턴시를 상쇄함
• Meta의 TAO 시스템을 참고하여 CDC(Change Data Capture) 기반 무효화 방식을 채택해 데이터 스테일니스를 낮추고 높은 히트레이트를 유지함
• 프록시 오버헤드를 줄이고 레이턴시를 추가로 낮추기 위해 Habitat 서비스 코드를 Python에서 Rust로 재작성함
• CDC 인프라는 수천 개의 컨테이너와 100개 이상의 Kafka 토픽에서 초당 수백만 건의 캡처된 변경 사항을 처리함

Future Scaling

• OpenAI는 대형 Habitat 데이터 타입에 최적화된 엑사바이트 규모 온라인 저장소 시스템을 구축 중임
• 새로운 시스템은 Rockset의 RocksDB Cloud 코어와 Raft 기반 복제를 결합하고 Azure Cosmos DB와 동일한 문서 모델을 구현함
• 플래시 용량 요구 사항을 줄이기 위해 디아그리게이티드 스토리지와 물리적 복제를 사용하지만, 현재 시스템보다 피크 QPS는 낮음