AI Gateway, OpenAI Responses API를 위한 WebSocket 지원 시작

Vercel의 AI Gateway가 OpenAI Responses API를 위한 WebSocket 모드를 지원하기 시작했습니다. 이를 통해 사용자는 매번 전체 컨텍스트를 다시 전송하는 대신, 지속적인 연결을 유지하며 새로운 입력값과 previous_response_id만 전송하여 대화를 이어갈 수 있습니다.

OpenAI의 보고에 따르면, 20개 이상의 도구 호출(tool calls)이 발생하는 에이전트(Agentic) 워크로드의 경우, WebSocket을 사용했을 때 엔드 투 엔드 실행 속도가 최대 **40%**까지 빨라지는 것으로 나타났습니다.

주요 특징은 다음과 같습니다:

• 연결 방식: GET /v1/responses 경로를 통해 열리며, 지속적인 WebSocket 연결을 통해 raw response.create 프레임을 수락합니다.
• 보안 및 규정 준수: store=false 설정 및 **Zero Data Retention(ZDR)**과 호환됩니다.
• 표준 준수: OpenAI의 WebSocket 모드 사양을 그대로 따릅니다.