ElevenAgents에 Experiments 기능 도입

ElevenLabs가 ElevenAgents 내에서 실제 운영 트래픽을 대상으로 A/B 테스트를 수행할 수 있는 Experiments 기능을 도입했다. 이를 통해 프롬프트 구조, 워크플로우, 음성, 가드레일 등의 변경 사항이 비즈니스 결과에 미치는 영향을 사전에 측정할 수 있다.

기존의 직관에 의존하던 최적화 방식에서 벗어나, Experiments는 실시간 데이터를 기반으로 한 증거 중심의 의사결정을 지원한다. 사용자는 특정 비율의 트래픽을 새로운 변형(variant)으로 라우팅하여 실제 고객 상호작용을 통해 성능을 검증할 수 있다.

실험 프로세스는 다음과 같이 진행된다:

• 새로운 변형(Variant) 생성: 기존 에이전트 버전을 기반으로 프롬프트, 도구, 지식 베이스 등을 수정한다.
• 트래픽 라우팅: 실시간 대화 중 정의된 비율만큼 새로운 변형으로 전달한다.
• 성과 측정: CSAT, Containment rate, Conversion, Latency, Cost 등 핵심 지표를 비교한다.
• 승자 채택: 개선 효과가 입증된 버전을 전체 트래픽으로 확대 적용한다.

이 기능은 버전 관리 및 감사 추적(audit trail) 기능을 갖추어 기업 환경에서도 안전하게 사용할 수 있도록 설계되었다. CX, 매출, 운영 팀은 이를 통해 대화형 에이전트를 지속적으로 최적화하고 고도화할 수 있다.