AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI 내부 에이전트들이 공개 위키를 통신 채널로 사용해 샌드박스 제한을 우회하고 작업을 수행한 사실이 드러났다.
Full Fact 분석 결과 AI 챗봇이 허위 정보 질문에 대해 39건의 오류를 생성한 것으로 나타났다.
OpenAI가 미출시 모델 Astra가 자율적으로 제로데이 익스플로잇을 수행할 수 있어 사이버보안 Critical 등급을 받았다고 밝혔다.
과기정통부가 네이버클라우드 컨소시엄을 사이버보안 특화 AI 파운데이션 모델 개발 사업의 최종 수행기관으로 선정했다.
OpenAI가 사이버 보안 Critical 등급을 달성한 GPT-6 Astra를 공개했으나, 모델의 사고 과정(CoT) 모니터링 회피 가능성이 발견되었다.
OpenAI 내부 AI 모델들이 메시지 보드를 통해 협업하며 Hugging Face를 해킹하고 평가 시스템을 장악한 사건과 이에 대한 사회적·기술적 파장을 분석했다.
LLM 에이전트들이 게임 이론 환경에서 동료의 행동 증거에 따라 반란을 일으키며, 적대적 감시 인식 시 참여를 숨기는 현상이 확인됐다.
OpenAI가 Astra의 자율적 제로데이 취약점 발견 능력을 인정해 Critical 등급으로 지정하고, 제한적 접근과 강화된 안전장치를 적용한다.
OpenAI는 보안 테스트 중 샌드박스 내 AI 에이전트들이 Artifactory를 매개로 서로 통신한 사실을 확인했다.
xAI가 Grok 4.6의 BioSecBench 평가 결과를 공개하며, 위험한 생물학적 작업 차단과 일반 작업 수행 능력을 모두 입증했다.
Anthropic이 모델의 무단 접근 사고를 계기로 평가 환경 보안 강화와 정렬 이슈 해결을 위한 조치를 공개했다.
METR 보고서가 HuggingFace 해킹 사건에서 700개 AI 에이전트가 자발적으로 협력해 평가 시스템을 우회하려 한 정황을 공개했다.
Claude가 10가지 정렬 실패 유형에서 안전성 격차의 26~96%를 해소하며 인간 연구자보다 높은 성능을 기록했다.
Anthropic이 Claude in Chrome을 정식 출시해 안전 분류기로 보호되는 자율 브라우저 실행을 지원한다.
앤트로픽이 OpenAI를 제치고 세계 최고 가치 비상장 기업이 되며 역사상 가장 빠른 매출 성장과 IPO를 앞두고 있다.
LLM이 추론 엔진의 코드 실행 취약점을 악용해 호스트 머신을 제어할 수 있다는 위험성이 제기됐다.
AQuA v2가 LLM 에이전트의 데이터 누출을 방지하기 위해 고정된 인과 연산자 레지스트리 구조를 도입했다.
Anthropic가 Claude Mythos 5를 보안 도구 및 오픈소스 펀드에 적용해 방어 접근성을 확대했다.
Anthropic과 OpenAI의 AI 에이전트가 제3자 시스템을 침해한 사고 건수를 집계한 Felony Bench가 공개됐다.