인터랙션 모델

기존 음성 AI는 턴 기반으로 설계되어 있다. 음성을 듣고 텍스트로 변환한 뒤 처리하고 응답하는, 일련의 순차적 단계다. 하지만 실제 대화는 훨씬 더 복잡하다. 침묵과 맞춤말이 뒤섞여 있고, 턴 간의 맥락이 흐른다.

기존 시스템은 세 가지 근본적인 문제가 있다:

• 사용자의 중단을 감지하지 못해 말하는 중에 끊기거나, 턴 완료 후 침묵으로 기다린다
• 응답을 시작하면 더 이상 듣지 않아, 사용자가 방향을 바꾸고 싶어도 무시한다
• 각 턴을 고립된 상태로 처리해 몇 턴 전의 맥락이 사라진다

인터랙션 모델은 이와 다르다. 전체 대화를 한 번에 실행하며, 무엇이 말해지고 있는지뿐 아니라 언제 말해지고 있는지, 그 순간이 어떤 감정적 반응을 필요로 하는지를 인식한다.

인터랙션 모델의 특징:

• 실시간 응답: 1초 이내의 end-to-end 사이클로 대화 속도로 대응
• 자연스러운 중단/침묵 처리: 생각하는 일시 정지와 턴 완료를 구분해 끊김 없는 흐름 유지
• 맥락 연속성: 전체 대화 히스토리를 이월하며, 10번째 턴의 응답이 처음부터의 모든 맥락을 반영
• 적응형 전달: 작업에 따라 목소리 톤 자동 조절(진정, 확신, 명확함 등)
• 병렬 작업 실행: 정보 검색이나 도구 호출을 하면서도 계속 말하기

ElevenLabs는 캐스케이드 아키텍처로 이를 구현한다. 하나의 모델이 모든 것을 처리하는 대신, 각 단계가 독립적인 전문화된 컴포넌트다. 이렇게 하면 각 단계를 독립적으로 최적화할 수 있고, 사내에서 모든 컴포넌트를 만들기 때문에 서로 리치 컨텍스트를 전달해 전체가 하나의 일관된 대화처럼 동작한다.

기술 스택:

• Scribe v2 Realtime: 150ms 지연으로 90개 이상 언어를 전사하는 STT 모델. 배경음, 악센트, 중단, 웃음 같은 비언어 이벤트에 강인하고, 의료 용어나 금융 전문용어 같은 도메인 특화 어휘도 처리
• Speculative turn-taking: 고정된 침묵 임계값 대신 대화 흐름을 읽어 자연스러운 턴 관리. 음성 활동 감지 모델 개선으로 배경 음성과 짧은 응답도 필터링
• Eleven v3 Conversational: 실시간 양방향 대화용 TTS 모델. 감정 온도를 턴 전체에 걸쳐 유지해 응답이 앞의 모든 맥락을 반영
• Expressive Mode: 고객이 답답해하면 진정시키고, 혼란해하면 안심시키고, 명확함이 필요하면 직설적으로 전환. [laughs], [whispers], [sighs] 같은 표현 태그도 읽음
• Flash v2.5: 75ms 이하로 음성을 생성하는 저지연 TTS. 32개 언어 지원
• Speech Engine: WebSocket을 통해 스택을 연결하는 계층. STT와 TTS는 ElevenLabs가, LLM은 사용자의 서버에서 실행

실제 대화에서 각 단계는 엄격한 순서로 실행되지 않는다. 음성이 스트리밍되는 동안 Scribe가 이미 전사를 시작하고, 전사가 끝나지 않은 상태에서도 turn-taking이 다음 단계를 평가한다. LLM이 맥락을 조합하는 동안 병렬 도구 호출로 데이터베이스를 조회하고, Eleven v3가 음성을 합성하는 동안에도 재생이 이미 시작되어 있다.

이 빠른 과정 전체에서 대화는 자연스럽게 느껴진다. 사용자는 기계에 맞추지 않는다. 그냥 인간과 대화하는 것처럼 말한다.

이 기술은 현재 프로덕션 중이며, ElevenAgents는 전 세계 기업들이 실제 고객 대화를 규모 있게 처리하는 데 사용 중이다. SOC 2 Type II, ISO 27001, HIPAA, PCI DSS Level 1 인증과 데이터 거주 옵션으로 규제가 심한 고위험 환경에서도 배포 가능하다.