Gnosys, 희소 레이블 환경에서의 분류기 최적화 성과

Gnosys는 정답(Ground Truth) 데이터가 매우 부족한 상황에서 프롬프트와 분류기를 개선하는 자율 모델 엔지니어링 기술을 선보였다.

공개된 사례 연구에 따르면, Gnosys는 ToxicChat 벤치마크에서 다음과 같은 성과를 기록했다:

• 성능 향상: 기존 분류기 및 표준 프롬프트 최적화 도구인 GEPA보다 높은 성능을 기록함.
• 비교 조건: 오탐률(False Positive Rate)을 5%로 고정한 상태에서 유해 메시지를 포착하는 비율(Harm caught)을 측정하여 객관성을 확보함.
• 핵심 차별점: 기존 방식과 동일한 최적화기를 사용하되, 최적화의 대상이 되는 목적 함수(Objective)를 엔지니어링하여 성능을 극대화함.

데이터 수집 비용이 높은 콘텐츠 모더레이션, 사기 탐지, 리스크 스코어링 등 고위험 AI 분류기 분야에서 유용하게 활용될 수 있는 기술이다.