AI Briefing#content-moderation
#content-moderation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#content-moderation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 정책 기반 콘텐츠 분류를 위해 설계된 오픈 웨이트 추론 모델 gpt-oss-safeguard를 공개했다.
AI가 1차 필터링을 담당해 운영자의 심리적 부담을 줄이고 판단 일관성을 높인다.
LLM이 규제 사유와 요약을 JSON으로 제공해 모니터링 검토 시간을 단축했다.
수동 검토 부담을 줄이기 위해 스윈 트랜스포머 도입 및 인지심리학 기반 라벨링 도구를 개발해 운영 효율성을 높였다.
카카오가 유해 콘텐츠, 법적 리스크, 프롬프트 공격을 탐지하는 3종 모델을 Apache 2.0으로 오픈소스 공개했다.
OpenAI가 GPT-4o 기반의 새로운 멀티모달 moderation 모델을 Moderation API에 도입했다.
OpenAI가 실제 환경에서 유해 콘텐츠를 효과적으로 탐지하기 위한 통합적인 분류 시스템 구축 방법론을 공개했다.
소셜 기능이 포함된 repl 개발 시 발생할 수 있는 악용 사례를 방지하기 위한 설계 원칙과 도구 활용법을 제안한다.