OpenAI, 저지연 voice AI 공개

OpenAI가 ChatGPT voice와 Realtime API를 위해 WebRTC 스택을 다시 설계한 내용을 공개했다.

핵심은 공개 인터넷에는 작은 고정 UDP 표면만 노출하고, 세션 상태는 내부의 relay + transceiver 구조로 유지하는 방식이다. Transceiver가 ICE, DTLS, SRTP, 세션 수명과 상태를 전담하고, Relay는 패킷을 복호화하지 않은 채 최소 메타데이터만 읽어 해당 transceiver로 넘긴다. ICE 상태 관리나 codec negotiation은 relay가 맡지 않으며, 클라이언트는 표준 WebRTC 흐름을 그대로 본다.

• 기존 one-port-per-session 모델은 Kubernetes와 클라우드 로드밸런서에서 포트 고갈과 운영 복잡도를 만든다.
• SFU는 멀티파티에는 적합하지만, OpenAI의 주력 트래픽처럼 대부분이 1:1이고 turn-taking 지연이 민감한 워크로드에는 과하다.
• 각 transceiver는 공유 UDP 소켓 하나로 여러 세션을 받고, 첫 패킷은 ICE ufrag에 넣은 라우팅 힌트로 목적지를 결정한다.
• Relay가 재시작해도 다음 STUN 패킷으로 세션을 복원할 수 있고, Redis가 <client IP+Port, transceiver IP+Port> 매핑을 보조한다.

또한 Global Relay와 Cloudflare geo/proximity steering을 적용해 사용자의 가까운 위치에서 미디어를 받아 첫 홉 지연, 지터, 패킷 손실을 줄였다고 설명했다. 이 구조는 ChatGPT voice, Realtime API WebRTC 엔드포인트, 실시간 연구 프로젝트에 적용된다.