대화형 AI의 지연 시간(Latency) 최적화 방법

대화형 AI에서 **지연 시간(Latency)**은 단순한 성능 지표를 넘어, 사용자에게 인간과 대화하는 듯한 몰입감을 제공하느냐를 결정하는 핵심 요소다.

대화형 AI의 지연 시간은 특정 병목 구간에 의해 결정되기보다, ASR, TTI, LLM, TTS와 같은 각 단계의 지연 시간이 합산되어 나타나는 특징이 있다.

• ASR (Automatic Speech Recognition): 음성을 텍스트로 변환하는 과정이다. 지연 시간은 사용자가 말을 하는 동안 백그라운드에서 진행되는 시간이 아니라, 발화가 끝난 시점부터 텍스트 생성이 완료될 때까지의 시간을 의미한다. 오픈 소스 모델인 Whisper는 300ms 이상의 지연을 발생시키지만, 최적화된 커스텀 구현체는 100ms 미만으로 단축할 수 있다.

• Turn-Taking / Interruption (TTI): 사용자가 말을 마쳤는지 판단하는 과정으로, **VAD(Voice Activity Detector)**가 이 역할을 수행한다. 단순히 침묵을 감지하는 것이 아니라, 사용자가 정말로 발화를 마쳤는지 판단하기 위한 임계값을 설정해야 하므로 일정 수준의 지연이 불가피하다.

• Text Processing (LLM): 생성된 텍스트를 바탕으로 응답을 생성하는 단계다. Gemini Flash 1.5와 같은 모델은 350ms 미만의 빠른 응답 속도를 보여주며, 모델의 선택이 전체 지연 시간에 큰 영향을 미친다.