음성 AI를 위한 Rate Limiting 가이드

음성 AI 모델을 사용할 때 흔히 발생하는 실수는 Rate Limiting을 단순한 '분당 요청 횟수(RPM)'로 오해하는 것이다. ElevenLabs의 모델은 요청 횟수가 아니라, 현재 생성 중인 오디오 작업의 수인 **Concurrency(동시성)**를 기준으로 제한을 둔다.

오디오 생성은 입력 길이나 모델에 따라 처리 시간이 다르기 때문에, 단순 요청 횟수로는 실제 서버 부하를 예측할 수 없다. 따라서 효율적인 스케일링을 위해서는 Concurrency Pool을 관리하고, 한도를 초과했을 때 발생하는 HTTP 429 에러에 대응하는 클라이언트 측 패턴을 구현해야 한다.

주요 특징은 다음과 같다:

• Graceful Degradation: 제한에 도달하면 즉시 요청을 거절하는 대신, Priority Queue를 통해 약 50ms 정도의 지연 시간을 추가하여 요청을 처리한다.
• WebSocket 활용: WebSocket을 사용하면 활성 생성 작업만 제한에 포함되므로 실질적인 처리 용량을 크게 늘릴 수 있다.
• 모델별 차등 제한: Multilingual v2, Flash, STT 등 모델 제품군마다 허용되는 동시성 한도가 다르므로 이를 구분하여 관리해야 한다.
• 모니터링: current-concurrent-requests 및 maximum-concurrent-requests 헤더를 통해 현재 상태를 실시간으로 파악할 수 있다.