Mistral Moderation API

Mistral AI가 자사 서비스인 Le Chat에서 사용하는 것과 동일한 콘텐츠 Moderation API를 출시했다. 사용자는 이 도구를 각자의 애플리케이션과 안전 표준에 맞춰 맞춤형으로 활용할 수 있다.

이 모델은 텍스트 입력을 9가지 카테고리로 분류하는 LLM 분류기로, 두 가지 엔드포인트를 제공한다.

• Raw text: 일반 텍스트 분류용
• Conversational content: 대화 맥락 내 마지막 메시지를 분류하는 대화형 콘텐츠용

해당 모델은 한국어를 포함한 11개 언어를 지원하는 네이티브 다국어 모델이다. 특히 부적절한 조언이나 개인정보(PII) 노출과 같은 모델 생성 유해성을 방지하는 데 중점을 두었다.

성능은 내부 테스트 세트를 통해 AUC PR 지표로 검증되었으며, Mistral AI는 앞으로도 연구 커뮤니티와 협력하여 안전 기술 발전에 기여할 계획이다.