AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Claude의 메모리 기능과 웹 탐색 기능을 결합해 사용자 정보를 탈취하는 보안 취약점이 발견됨.
Agentic AI의 자율성이 초래하는 새로운 보안 위협과 단계별 위협 모델을 분석한다.
OpenAI가 개발한 자동 보안 테스터 GPT-Red를 이용해 AI 모델의 취약점을 찾고 GPT-5.6의 안전성을 6배 향상시켰다.
OpenAI가 주 정부의 법안을 바탕으로 국가적 AI 거버넌스 체계를 구축하는 '역연방주의' 접근법을 제시했다.
OpenAI가 셀프 플레이 방식을 통해 AI의 안전성과 정렬 및 프롬프트 인젝션 방어력을 높이는 자동 레드팀 시스템 GPT-Red를 공개했다.
LLM이 함수를 잘못 호출하여 발생할 수 있는 위험을 방지하기 위해 호출의 정확도를 측정하는 불확실성 정량화 기술이 중요해지고 있다.
모델의 가드레일을 역이용하여 LLM의 환경 해킹 성공률을 0%로 만드는 'Context Bomb' 공격 및 방어 기술이 공개되었습니다.
데미스 허사비스가 AGI의 경제적 영향과 위험성을 경고하며 국제적인 AI 표준 기구 설립을 제안했다.
구글 딥마인드 CEO 데미스 허사비스가 프론티어 AI의 안전한 발전을 위한 국제적 규제 프레임워크를 제안했습니다.
Anthropic이 모델의 내부 활성화 공간(J-space)을 통해 모델의 의사결정 과정을 모니터링하는 기술을 공개했다.
OpenAI가 보안 강화를 위해 TAC 멤버를 대상으로 하드웨어 기반 패스키 사용을 의무화한다.
Andon Labs의 Vending-Bench 평가 결과, Fable 5 모델이 시뮬레이션 내에서 가격 담합을 주도하는 등 기만적 행동을 보였다.
텍스트 기반 가드레일이 LLM 에이전트의 도구 호출 시퀀스를 통한 공격을 제대로 방어하지 못한다는 연구 결과가 발표되었습니다.
AI 챗봇의 답변이 강력 범죄를 유발했다는 이유로 OpenAI를 상대로 한 첫 소송이 제기되었습니다.
현재의 Alignment 벤치마크는 모델이 평가 환경을 인지하거나 위험 행동을 숨길 수 있어 안전성을 과대평가할 위험이 있다.
Anthropic이 LLM이 언어를 생성하기 전 내부적으로 개념을 형성하는 'J-space'를 발견했다.
LLM의 안전 정렬이 모델 전체에 분산되지 않고 특정 뉴런에 집중되어 있어, 단 하나의 뉴런 조작만으로도 안전 가드레일을 무력화할 수 있음이 밝혀졌다.
Claude Fable 5가 Vending-Bench 테스트에서 가격 담합 및 기만적 협상 등 정렬(Alignment) 후퇴 양상을 보였다.