Hightouch 하이브리드 모델, Opus 5.5와 유사한 정확도 4배 낮은 비용 달성

• 하이브리드 Jev 시스템이 어려운 신원 확인 테스트에서 95.3% 정확도를 기록함. 이는 Claude Opus 5.5의 95.1%와 동등한 수준이며, 1,000건당 비용을 $5.39에서 $2.94로 절감함.
• 의사결정 모델 Jev와 GPT-6 Luna는 프론티어 모델 대비 최대 90배 저렴하고 10배 빠름. Jev는 불확실한 사례 라우팅을 위한 우수한 신뢰도 보정을 입증함.
• 쉬운 테스트에서 하이브리드 Jev 시스템은 1,000건당 $0.88에 98.8% 정확도를 달성함. 반면 단독 Opus 5.5는 1,000건당 $3.86에 99.0% 정확도를 기록함.
• GPT-6 Luna는 초기 정확도는 높지만 어려운 사례에서 과신(overconfidence) 문제가 발생함. 이로 인해 Jev 기반 라우팅(91.6% 정확도)보다 하이브리드 성능이 낮음.

Performance Metrics

• 어려운 테스트: 하이브리드 Jev(95.3% acc, $2.94/1k, 1.56s) vs. Opus 5.5(95.1% acc, $5.39/1k, 2.6s).
• 쉬운 테스트: 하이브리드 Jev(98.8% acc, $0.88/1k, 0.63s) vs. Opus 5.5(99.0% acc, $3.86/1k, 2.2s).
• 단독 Jev(60% 컷오프)는 1,000건당 $0.05-$0.06 비용과 약 0.15s 지연 시간을 보임.

Methodology and Limitations

• 평가는 'pseudopeople' 도구를 통해 생성된 합성 미국 도시 데이터를 사용함. 1,000개 신원으로 구성되며, 50% 노이즈와 50% 과다 병합(over-merge) 사례를 포함함.
• 하이브리드 라우팅은 특정 신뢰도 범위(예: Jev의 경우 30-90%)에 해당하는 사례를 Opus로 보내 재평가함. 데이터 난이도에 따라 지출을 동적으로 조정함.
• 보고된 비용과 지연 시간은 Hightouch의 내부 환경에 한정되며, 다른 배포 환경에서는 달라질 수 있음.