AI BriefingDarwin-27B-ZTC, 단일 순전파 판정기로 Hugging Face 리더보드 1위
Darwin-27B-ZTC: 생성 없는 단일 순전파 판정기와 보정 품질의 정량 분석
·2026.10.08 17:19
핵심 내용
생성 없이 확률 분포를 반환해 지연을 줄이고 보정 지표 KL 0.204, Brier 0.097을 기록했습니다.
자세히 보기
Darwin-27B-ZTC는 LLM-as-judge의 지연과 보정 문제를 해결하기 위해 생성 토큰 없이 단일 순전파로 범주 확률분포를 반환하는 판정기입니다. 디코딩 루프가 없어 결정적이며, 벤치마크 비교 시 교란 변수가 제거됩니다.
성능 및 보정 지표
Hugging Face의 typed-decisions 벤치마크 zero-shot 평가에서 종합 정확도 0.743을 기록하며 리더보드 1위를 차지했습니다. 유형별 정확도는 noul 0.847, choice 0.723, score 0.675입니다.
보정 품질은 KL divergence 0.204, Brier score 0.097로 측정되어 예측 확률이 실제 결과와 높은 일치도를 보입니다. 이는 라우팅이나 안전 게이트에서 과신을 줄이고 신뢰성 있는 임계값 설정을 가능하게 합니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
