AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 개발자가 청소년을 위한 안전한 AI 서비스를 구축할 수 있도록 프롬프트 기반의 안전 정책 패키지를 공개했다.
OpenAI가 내부 코딩 에이전트의 정렬 불일치 위험을 감지하기 위해 GPT-5.4 Thinking 기반의 모니터링 시스템을 구축했다.
OpenAI Japan이 청소년의 안전한 생성형 AI 사용을 지원하기 위한 'Japan Teen Safety Blueprint'를 발표했다.
Anthropic이 frontier AI의 사회적·경제적 위험을 다룰 The Anthropic Institute를 출범했다.
상충하는 지시 사이에서 우선순위를 올바르게 판단하도록 돕는 강화 학습 데이터셋 IH-Challenge를 공개했다.
현재 추론 모델들은 사고 사슬(CoT)을 의도적으로 조작하는 데 어려움을 겪고 있으며, 이는 AI 안전 모니터링 유지에 긍정적인 신호다.
OpenAI가 사이버 보안 위험 완화 조치를 최초로 적용한 GPT-5.4 Thinking 시스템 카드를 공개했다.
OpenAI가 미 국방부와 AI 시스템 배포 협약을 체결하며, 국내 감시 및 자율 무기 사용 금지 등 강력한 안전 가드레일을 명시했다.
Anthropic이 AI의 파괴적 위험을 완화하기 위한 자발적 프레임워크인 '책임 있는 스케일링 정책(RSP)'의 세 번째 버전을 발표했다.
OpenAI가 AI 정렬의 안전성을 확보하기 위해 UK AISI의 독립 연구 펀드인 'The Alignment Project'에 750만 달러를 지원한다.
OpenAI가 프롬프트 인젝션 공격을 방지하기 위해 ChatGPT에 Lockdown Mode와 'Elevated Risk' 레이블을 도입한다.
Anthropic이 AI 거버넌스 강화와 미국의 AI 리더십 확보를 위해 Public First Action에 2,000만 달러를 기부한다.
Stability AI가 온라인 아동 성 착취 및 학대 방지를 위한 글로벌 연합체인 테크 코알리션에 정식 가입했다.
OpenAI는 각국의 언어, 법률, 문화를 반영하여 모든 사람이 혜택을 누릴 수 있는 현지화된 AI 시스템 구축을 추진한다.
앤스로픽의 공익 미션을 지원하는 장기 이익 신탁에 마리아노 플로렌티노 쿠엘라르가 신임 위원으로 임명되었다.