GPT-5.1을 활용한 Tolan의 보이스 퍼스트 AI 구축 방식

보이스 퍼스트 AI 스타트업 Tolan은 단순한 질의응답을 넘어, 지속적이고 개방적인 대화가 가능한 AI 컴패니언을 개발하고 있다. Portola 팀은 음성 AI의 핵심 과제인 **지연 시간(Latency)**과 컨텍스트 관리를 해결하는 데 집중했다.

GPT-5.1의 도입은 기술적 전환점이 되었다. OpenAI Responses API를 통해 대화 시작 시간을 0.7초 이상 단축했으며, 모델의 향상된 **제어력(Steerability)**을 활용해 설계된 캐릭터의 톤과 성격을 더욱 정교하게 구현할 수 있게 되었다.

Tolan의 아키텍처는 기존의 프롬프트 캐싱 방식 대신, 매 턴마다 컨텍스트를 새로 구축하는 방식을 채택했다. 이를 통해 사용자의 갑작스러운 주제 전환에도 끊김 없이 대응한다. 컨텍스트 재구성에는 다음 요소들이 포함된다.

• 최근 메시지 요약
• 페르소나 카드
• 벡터 검색 기반 메모리
• 톤 가이드 및 실시간 앱 신호

또한, 장기적인 대화를 위해 OpenAI text-embedding-3-large 모델과 고속 벡터 데이터베이스인 Turbopuffer를 결합한 메모리 시스템을 구축했다. 이 시스템은 단순한 사실뿐만 아니라 대화의 감정적 '바이브(vibe)'까지 저장하며, 매일 밤 데이터 압축 작업을 통해 메모리의 품질을 유지한다.