레이블 분포 학습을 위한 메트릭 의존적 어노테이션 포화 현상

데이터 라벨링 과정에서 발생하는 어노테이터 간의 불일치는 그 자체로 중요한 신호를 담고 있다. 연구 결과, 모델이 어떤 평가 지표를 사용하느냐에 따라 필요한 **어노테이터(Annotator)**의 수가 크게 달라지는 메트릭 의존적 포화(Metric-dependent saturation) 현상이 확인되었다.

ChaosNLI 데이터셋을 활용해 NLI 모델을 미세 조정(Fine-tuning)한 결과는 다음과 같다.

• 엔트로피 상관관계(Entropy correlation): 모델이 불일치하는 항목을 식별하는 능력을 측정할 경우, 수렴을 위해 약 20~50명의 어노테이터가 필요하다.
• 분포 일치도(KL divergence): 분포 자체의 일치도를 측정할 경우, 약 10명의 어노테이터만으로도 성능 향상의 **87~95%**가 달성되어 빠르게 포화 상태에 도달한다.

또한, 단순한 Label Smoothing은 Soft Labels가 가진 아이템별 고유 신호를 완벽히 재현하지 못한다. DeBERTa 및 RoBERTa 아키텍처를 통한 실험에서도 Soft Labels는 Label Smoothing보다 높은 상관관계를 보였다. 따라서 효율적인 AI 학습을 위해서는 목표로 하는 평가 지표에 따라 **어노테이션 예산(Annotation budget)**을 차등적으로 설정해야 한다.