Jev 스타일 의사결정 모델, LLM 판정기 및 전통 분류기 대비 일관된 우위 없어

벤치마크 개요

Jev 스타일 의사결정 모델(Jev, Laya, DiffusionGemma)을 LLM-as-a-judge 방식(Qwen3.6-35B, Nemotron-3.5, Shieldstral) 및 전통적인 사전 학습 분류기와 비교하는 종합 평가가 진행됐다. 이 연구는 프롬프트 인젝션과 유해성 태스크를 위해 EvalHub의 NeMo Guardrails 벤치마크 라이브러리를 활용했다.

주요 결과

• 프롬프트 인젝션: Qwen3.6-35B가 89.31%의 정확도로 최고점을 기록하며 전통 분류기인 deberta-v3-base-prompt-injection-v2(89.01%)를 근소하게 앞섰다. 다만 deberta-v3-base-prompt-injection-v2는 80.4ms의 가장 낮은 중간 지연 시간을 보인 반면, Qwen3.6-35B는 312.5ms를 기록했다.
• 콘텐츠 안전성: Jev가 86.20%의 정확도로 1위를 차지했으며, DiffusionGemma(85.53%)와 Qwen3.6-35B(85.47%)가 뒤를 이었다. 전통 분류기 granite-guardian-hap-125m은 33.2ms의 가장 낮은 중간 지연 시간을 보였으나 정확도는 80.27%로 낮았다.
• 프롬프트 엔지니어링 영향: 프롬프트 튜닝에 따라 성능 편차가 컸다. 예를 들어 Laya의 콘텐츠 안전성 정확도는 튜닝된 위험 정의를 사용할 경우 57.87%에서 75.20%로 향상됐다. 주목할 점은 Laya의 튜닝된 프롬프트로 Jev를 평가했을 때 정확도가 82.53%로 하락했다는 것이다. 이는 프롬프트 전략이 다른 의사결정 모델 아키텍처 간에 전이되지 않음을 시사한다.

결론

Jev 스타일 모델은 경쟁력이 있지만 기존 방식을 일관되게 능가하지는 못하는 것으로 나타났다. 전통 분류기는 학습 데이터가 풍부한 특정 태스크에서 여전히 매우 효과적이며, 더 빠른 속도와 신뢰성을 제공한다.