TypeSafe Jev 모델의 '보정된 확률' 주장에 대한 기술적 반박

TypeSafe가 출시한 Jev 모델은 학습 데이터 없이도 분류 작업을 수행할 수 있는 'System One Model'로, 출력에 보정된 확률(calibrated probabilities)이 포함된다고 홍보하고 있다. 그러나 기술 분석 결과, 이 보정 주장이 일반적인 상황에서 성립하지 않을 수 있다는 지적이 제기되었다.

보정 확률의 한계

모델의 보정(calibration)은 모델 자체의 속성뿐만 아니라 데이터 분포에 의존한다. Jev는 특정 훈련 분포에서는 보정될 수 있으나, 사용자의 실제 운영 데이터 분포가 다르면 보정되지 않은 채로 동일한 확률을 반환할 수 있다. 이는 같은 '스팸' 정의라도 회사별 데이터 특성이 다르기 때문에 발생하는 문제다.

실증적 오류와 대안

실제 테스트에서 Jev는 공정한 동전 던지기의 앞면 확률을 0.92로 예측하는 등 명백한 오류를 보였다. 또한, 동일한 문제에서 다른 프로그래미티브(Primitive)를 사용할 때 확률의 의미가 달라지는 일관성 문제도 발견되었다. 따라서 Jev의 출력은 신뢰할 수 있는 확률보다는 **순위 매기기용 점수(scores)**로 취급하는 것이 적절하다.

권장 사항

실제 확률 값이 중요한 시스템(임계값 설정, 비용 예측 등)에서는 Jev의 출력을 그대로 신뢰하지 말고, 수백 개의 라벨링된 데이터를 이용해 Platt scaling 등을 적용해 자체적으로 재보정(recalibration)해야 한다.