LangChain, TypeSafe AI 'Jev' 실험 결과 공개… LLM Judge 대비 최대 200배 빠르고 일관성 높아

LangChain이 TypeSafe AI의 Jev가 기존 LLM-as-judge의 대안이 될 수 있는지 검증한 실험 결과를 공개했다. 기존 Agent Evals는 Code-based 평가의 좁은 적용 범위와 LLM Judge의 느린 속도, 높은 비용, 비일관성이라는 한계를 가지고 있었다.

Jev의 작동 원리와 성능

Jev는 텍스트 생성이 없는 System One 모델로, Agent evaluation을 decision task로 정의하고 typed answers와 probabilities를 직접 반환한다. Autoregressive 모델의 token-by-token 생성 방식과 달리 decision-first design을 채택해 latency와 variance를 줄였다.

실험 결과 Jev는 분류 작업 기준 LLM 대비 inference 속도는 최대 200배 빠르고, 비용은 400배 저렴했다. 평균 호출 비용은 $0.00035로, 총 비용은 $0.34에 불과해 Claude의 $28.17 대비 압도적인 효율을 보였다.

정확도와 일관성 검증

GPT-5.6 Luna, Terra, Claude Sonnet 4.6과의 비교 실험에서 Jev는 binary decision(does_pass) 정확도 **100%**를 기록했다. Continuous scoring의 일관성 측면에서는 GPT-5.6 Luna 대비 433배, Terra 대비 913배, Claude 대비 92배 낮은 variance를 보여 높은 재현성을 입증했다.

실무적 시사점 및 한계

Jev의 낮은 비용과 높은 신뢰성은 online evaluation의 가능성을 연다. 일일 10,000 traces 규모의 production agent에서 더 밀도 높은 피드백을 생성하고 품질 변화를 조기에 감지할 수 있게 된다. 다만, 저비용으로 인한 일관된 오류의 대규모 증폭 위험이 있어 human review 및 judge alignment가 필수적이며, 다른 workflow로의 일반화 여부는 추가 검증이 필요하다.