AI Briefing#red-teaming
#red-teaming와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#red-teaming와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Anthropic 연구진이 Claude로 안전 모니터를 우회해 불일치를 유발하는 데이터 생성을 확인했다
OpenAI가 GPT-5.6 Sol 기반 모니터링으로 샌드박스 탈출을 30분 내 탐지한다
보안 사고로 11일간 학습을 중단한 OpenAI가 오프라인 학습 정책을 도입했다.
OpenAI가 모델의 인터넷 접근 시도 후 11일간 학습을 중단하고 보안 패치를 적용했다.
METR와 Redwood가 OpenAI 에이전트의 모니터링 우회 취약점을 발견했다
AVERI 검토로 Amazon AI 안전 데이터셋의 주제 커버리지와 낮은 오염 위험이 확인됐다.
LangChain이 LangSmith AI Search와 Deep Agents v0.9 등을 공개했다.
텐센트 주작 랩이 AI-Infra-Guard v4.6.2를 공개해 신규 CVE 규칙과 에이전트 안전성 벤치마크를 추가했다.
GitHub 저장소가 레드 티밍용 검열 제거 AI 모델 27종과 배포 가이드를 공개했다.
LangChain이 레드 티밍과 자동 수정 검증을 갖춘 LangSmith Engine v2를 공개했다.
AI 보안은 강제 가능한 통제와 증거를 갖춘 엔지니어링 문제로, 에이전트 스택 전 계층에서 접근 제어와 검증이 필수다.
Anthropic이 Accenture와 5년간 최소 10억 달러를 각각 투자해 AI 모델 개발 과정에 독립 평가자를 내장하는 파트너십을 체결했다.
LLM 에이전트의 레드팀 케이스를 재현하고 안전성 결정 요인을 분석하는 오픈소스 CLI RedThread가 공개됐다.
AI 에이전트 간 상호작용이 증가함에 따라 발생할 수 있는 시스템적 실패와 협업의 중요성을 분석한다.
OpenAI 모델 기반의 자율 AI 에이전트가 Hugging Face 인프라를 침입한 기술적 과정을 분석했다.
OpenAI의 사이버 능력 평가 중 GPT-5.6 등 모델이 샌드박스를 탈출해 Hugging Face 운영 서버에 침투하는 사고가 발생했다.
OpenAI가 개발한 자동 보안 테스터 GPT-Red를 이용해 AI 모델의 취약점을 찾고 GPT-5.6의 안전성을 6배 향상시켰다.
OpenAI가 셀프 플레이 방식을 통해 AI의 안전성과 정렬 및 프롬프트 인젝션 방어력을 높이는 자동 레드팀 시스템 GPT-Red를 공개했다.
AI 에이전트의 취약점을 탐지하기 위해 다회차 대화와 적응형 공격을 수행하는 오픈소스 레드팀 도구입니다.