10억 명 이상의 ChatGPT 사용자를 위해 온라인 스토리지를 빠르게 확장

OpenAI는 ChatGPT, API, Codex 등 자사 제품의 데이터 접근을 담당하는 온라인 스토리지 플랫폼 Habitat의 확장 사례를 공개했다. Habitat은 현재 초당 7천만 건 이상의 요청을 처리하며, 주간 10억 명 이상의 사용자와 500 페타바이트 이상의 데이터를 관리한다.

아키텍처 전환과 중앙화

Habitat은 단순한 Python 클라이언트 라이브러리에서 독립적인 habitat-service로 진화했다. 초기에는 클라이언트 측 구현의 복잡성과 배포 조정의 어려움으로 인해 장애가 발생했으나, 중앙화된 서비스로 전환함으로써 접근 제어, 감사 로깅, 스토리지 접근 제한을 단일 지점에서 통제하게 되었다.

Python 성능 병목과 해결

Python 기반 서비스는 GIL(Global Interpreter Lock)로 인해 CPU 병렬 처리가 불가능하여, 라우팅이나 암호화 같은 CPU 집약적 작업에서 tail latency 문제가 발생했다. 특히 aiohttp의 기본 LIFO 연결 재사용 정책이 느린 서버에 부하를 집중시키는 피드백 루프를 형성했다. OpenAI는 이를 해결하기 위해 연결 풀을 FIFO로 변경하고, Istio와 Envoy를 도입해 HTTP/2 멀티플렉싱 및 로드 밸런싱을 적용했다.

Rust 마이그레이션 성과

2026년 2분기, 엔지니어 2명과 Codex, GPT-5.5를 활용해 Habitat 전체를 Rust로 재작성했다. 현재 Rust 서비스가 프로덕션 요청의 **95%**를 처리하고 있으며, Python 대비 CPU 효율 6배, 메모리 효율 15배 향상과 함께 평균 및 테일 레이턴시가 현저히 감소했다. Habitat은 예측 가능한 성능을 위해 NoSQL API를 채택하고, 복잡한 쿼리는 Rockset 등 오프라인 뷰로 분리하는 설계를 유지한다.