AI Briefing#llm-safety
#llm-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
온타리오 감사원이 AI Scribe 20개를 감사해 광범위한 오류를 확인했다.
OpenAI Codex 시스템 프롬프트에 고블린 등 생물 언급 금지 지시가 포함됐다.
에이전트 워크플로우의 보안과 안전을 위해 설계된 8B 파라미터 가드레일 모델 AprielGuard가 공개되었다.
AI 모델의 추론 과정인 Chain-of-thought를 효과적으로 감시할 수 있는 능력을 체계적으로 평가하는 프레임워크를 제안한다.
OpenAI가 AI 모델의 숨겨된 의도인 scheming을 탐지하고 이를 30배 이상 줄이는 연구 결과를 발표했다.
카카오가 한국어 사용자 환경에 특화된 3종 AI 가드레일 모델 'Kanana Safeguard' 시리즈를 Apache 2.0 라이선스로 오픈소스 공개했다.
Anthropic이 Constitutional Classifiers로 universal jailbreak 성공률을 4.4%까지 낮췄다.
OpenAI가 모델이 안전 규정을 직접 추론하여 준수하도록 돕는 Deliberative alignment 기술을 공개했다.
Google DeepMind와 Hugging Face가 AI 생성 텍스트에 워터마크를 삽입하고 탐지하는 SynthID Text를 출시했다.
LLM의 독성, 편향성, 보안성 등을 종합적으로 평가하는 DecodingTrust 기반의 새로운 Safety Leaderboard가 공개되었다.