Jev 의사결정 모델 통합, Qwen 3.8의 LLM 호출 29.6% 절감

에이전트 하네스에서 제한된 의사결정을 전문 모델로 위임하면 주 LLM의 부하를 크게 줄일 수 있다. Qwen 3.8 27B에 호스팅된 Jev를 통합해 360 SOP-Bench 사례를 테스트한 결과, 주 LLM 호출 횟수가 2,537회에서 1,785회로 29.6% 감소했다.

구현 전략

실험에는 Proceda SOP 실행 하네스를 사용했으며, 의사결정 모델의 두 가지 삽입 지점을 검증했다.

• 도구 호출 후 단계 완료 검증: Jev가 필수 도구 호출 여부 및 증거 충분성을 확인한다. 완료 확률이 0.8에 도달하면 후속 LLM 턴 없이 하네스가 다음 단계로 진행한다.
• 제한된 비즈니스 의사결정: 이메일 의도 파악 같은 작업에서 Jev는 이메일, 정책, 허용된 결과를 입력받는다. 확률 ≥ 0.8인 유효한 선택지를 채택하며, 그렇지 않으면 Qwen으로 의사결정을 위임한다.

성능 지표

두 변경 사항을 모두 적용했을 때 Qwen 단독 기준선 대비 다음과 같은 결과를 달성했다.

• 주 LLM 호출: 2,537회에서 1,785회로 감소 (29.6% 절감).
• 실행 API 비용: Jev 비용을 포함해 $6.41에서 $4.70으로 감소 (26.6% 절감).
• 평균 사례 지연 시간: 8.64초에서 6.94초로 감소 (19.7% 단축).
• 작업 정확도: Qwen 단독의 357/360과 달리 360/360의 정확도를 달성했다.

트레이드오프 및 한계

완료 검증만 적용할 경우 LLM 호출은 23.8% 줄었지만, 정확도는 356/360으로 기준선 357/360보다 약간 낮았다. 결합된 결과의 완벽한 정확도는 이 360개 사례 하위 집합에 국한된 것이며, 일반적인 정확도 향상을 입증하지는 않는다. 또한 최종 구조화 계획 준비 비용을 포함하면 예상 비용 절감률은 **24.6%**로 줄어든다.