새로운 멀티모달 moderation 모델을 통한 Moderation API 업그레이드

OpenAI가 GPT-4o를 기반으로 텍스트와 이미지를 모두 감지할 수 있는 새로운 moderation 모델인 **omni-moderation-latest**를 Moderation API에 도입했다. 이 모델은 기존 모델보다 정확도가 높으며, 특히 비영어권 언어에서 뛰어난 성능을 보인다.

주요 개선 사항은 다음과 같다:

• 멀티모달 유해성 분류: 이미지와 텍스트를 결합하여 폭력, 자해, 성적 콘텐츠 등 6개 카테고리에 대해 유해성을 평가할 수 있다. 현재 멀티모달 지원은 해당 카테고리에 국한되어 있으며, 향후 지원 범위를 확대할 예정이다.
• 새로운 텍스트 전용 카테고리: 불법 행위 지침을 다루는 illicit 및 폭력이 포함된 illicit/violent 카테고리가 추가되었다.
• 정확도 향상: 40개 언어 테스트 결과, 내부 다국어 평가에서 42%의 성능 향상을 보였으며, 텔루구어(6.4배), 벵골어(5.6배) 등 저자원 언어에서 비약적인 발전을 이루었다.

또한, 확률 점수를 조정하여 moderation 결정에 대한 세밀한 제어가 가능해졌다. 이 새로운 모델은 모든 개발자가 Moderation API를 통해 무료로 사용할 수 있다.