AI Briefing#red-teaming
#red-teaming와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#red-teaming와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Mindgard의 연구 결과, ChatGPT의 이미지 생성 필터가 우회되어 부적절한 콘텐츠가 생성되는 취약점이 발견됨.
OpenAI가 실제 대화 맥락을 재현하는 배포 시뮬레이션을 통해 모델 출시 전 위험 행동을 예측하는 새로운 안전 검토 방법을 도입했다.
Anthropic은 AI 모델이 사이버 보안 및 생물학 분야에서 급격한 역량 향상을 보이며 국가 안보 리스크의 초기 징후를 나타내고 있다고 경고했다.
Anthropic은 생물학적 위험 등 국가 안보와 직결된 AI 프론티어 위협을 평가하기 위해 전문가와 함께 레드팀 테스트를 수행했다.
AI 시스템의 안전성을 확보하기 위한 다양한 Red Teaming 방법론과 그에 따른 장단점 및 과제를 분석한다.
16개의 전문 에이전트와 LangGraph를 활용해 전문적인 레드팀 공격을 수행하는 자율 해킹 에이전트입니다.
Anthropic이 5월 6일 개발자 컨퍼런스 앞두고 Jupiter V1에 대한 red teaming을 시작한 것으로 보인다.
OpenAI가 GPT-5.5의 바이오 안전 질문 5개를 뚫는 universal jailbreak에 $25,000를 건다.
OpenAI가 자동화된 레드팀 기술을 통해 ChatGPT Atlas의 프롬프트 인젝션 방어 체계를 지속적으로 강화한다.
OpenAI는 AI의 사이버 보안 역량 향상에 맞춰 방어자를 지원하고 오용을 막기 위한 다층적 보안 전략을 강화한다.
Stability AI가 모델 개발 및 배포 과정의 안전성과 투명성을 입증하기 위한 연례 무결성 투명성 보고서를 발표했다.
Anthropic이 미국과 영국의 AI 보안 기관과 협력하여 Claude 모델의 취약점을 점검하고 안전장치를 강화했다.
OpenAI가 US CAISI 및 UK AISI와 협력하여 AI 에이전트의 보안 취약점을 점검하고 시스템을 강화한다.
Anthropic이 Constitutional Classifiers로 universal jailbreak 성공률을 4.4%까지 낮췄다.
Anthropic은 2024년 글로벌 선거 기간 중 AI 오남용을 방지하기 위해 정책 강화, 모델 테스트, 정확한 정보 제공 등 다각적인 대응책을 마련했다.
Anthropic은 생성형 AI를 통한 아동 성착취 및 성적 피해를 방지하기 위해 'Safety by Design' 원칙에 따른 강력한 안전 조치를 시행한다.
Anthropic은 2024년 선거 기간 동안 Claude의 안전 조치를 시행했으며, Clio 분석 결과 선거 관련 사용량은 매우 낮았다.