Cohere CALIBER, 추론 모델 보정 오류 52.5% 감소

CALIBER는 추론 모델이 추론 전 성공 확률과 추론 후 정답 여부를 추정하도록 학습하여, 7B 모델 기준 BigMathDigits에서 단일 신뢰도 베이스라인 대비 보정 오류를 52.5% 감소시킴
7B 모델은 BigMathDigits에서 최고 AUROC(0.806)과 Brier score(0.130)를 기록했으며, 추가적인 작업별 학습 없이 GPQA 26.8%, TriviaQA 32.2%, SimpleQA 36.2%의 보정 오류 감소 달성
학습은 별도의 타겟을 사용하며, 초기 신뢰도는 다중 시도 중 성공 횟수 비율(예: 10회 중 7회 성공 시 70%)에 기반하고, 최종 신뢰도는 생성된 특정 답변의 정확도를 목표로 함
30B 모델에서 CALIBER는 BigMathDigits에서 CoCA-lite(0.508) 대비 AUROC(0.797)에서 큰 우위를 보였으며, 유사한 ECE 점수에도 정답과 오답 구별의 중요성을 강조함
추론 중 신뢰도 변화는 문맥에 따라 달라지며, BigMathDigits에서 정답은 평균 신뢰도가 상승(78.5%에서 83.5%)하고 오답은 하락(62.6%에서 54.5%)했으나, 최종 추정치가 답변 신뢰도의 주요 지표임

핵심 내용