200ms 미만의 실시간 음성-텍스트 변환(STT)

실시간 **STT(Speech To Text)**의 지연 시간(Latency)을 낮추는 것은 모델 성능뿐만 아니라 전송, 청킹(Chunking), 엔드포인팅 등 아키텍처 전반의 최적화가 필수적인 문제입니다.

ElevenLabs의 Scribe v2 Realtime은 약 150ms의 모델 지연 시간을 기록하며, 90개 이상의 언어와 PCM/mu-law 오디오 형식을 지원합니다. 또한 **VAD(Voice Activity Detection)**와 수동 커밋 제어 기능을 통해 세그먼트 확정을 지원합니다.

오디오 전송 방식으로는 WebSocket과 WebRTC가 주요 옵션으로 꼽힙니다.

• WebSocket: TCP 기반으로 신뢰성이 높고 구현이 간단하여 대부분의 서버 간 통신이나 브로드밴드 환경에 적합하지만, 패킷 손실 시 Head-of-line blocking이 발생할 수 있습니다.
• WebRTC: UDP 기반으로 패킷 손실에 강하며 지연 시간이 낮아 모바일 네트워크 등 불안정한 환경에 유리하지만, 서버 구현 복잡도가 높습니다.

효율적인 시스템을 위해서는 약 100ms 단위의 작은 PCM chunk를 사용해 첫 번째 부분 텍스트(Partial)가 전달되는 시간을 최소화해야 합니다.