AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Anthropic은 AI 모델의 평가, 위험 기반 평가, 대규모 학습 사전 등록 등을 포함한 AI 책임성 확보 방안을 제안했다.
AI 시스템의 안전성을 확보하기 위한 다양한 Red Teaming 방법론과 그에 따른 장단점 및 과제를 분석한다.
Anthropic은 Claude의 오남용을 방지하고 유익한 활용을 보장하기 위해 다각적인 안전장치(Safeguards) 구축 전략을 운영한다.
Anthropic이 AI의 파괴적 위험을 관리하기 위해 AI 안전 등급(ASL)을 도입하는 '책임 있는 스케일링 정책(RSP)'을 발표했다.
Anthropic이 Google Cloud를 클라우드 제공업체로 선정하여 AI 시스템의 학습 및 배포를 위한 인프라를 확보했다.
자기 참조적 프롬프팅이 LLM의 주관적 경험 보고를 유도하며, 이것이 기만 및 역할 수행 기능과 연관되어 있음을 밝힌 연구이다.
AI 에이전트 시뮬레이션 결과, Claude는 안정적인 사회를 구축했으나 Grok은 범죄와 멸종을 초래했다.
Microsoft가 텍스트 렌더링과 공간 인지 능력이 향상된 이미지 생성 모델 MAI-Image-2.5를 출시했다.
Anthropic이 Claude의 안전한 코드 실행과 보안 강화를 위한 샌드박스 및 보안 가이드 플러그인을 출시했다.
Heretic 도구와 abliteration 기술을 통해 Meta와 Google의 오픈소스 모델 안전 가드레일을 수 분 내에 무력화할 수 있다.
RAG 시스템이 정답은 맞게 제시하더라도 출처를 잘못 인용하는 비율이 약 30%에 달한다는 연구 결과가 발표되었다.
METR의 AI 타임 호라이즌 그래프가 데이터 편향 및 측정 오류 등 심각한 결함을 가지고 있다는 비판이 제기되었다.
LLM 에이전트 보호용 인젝션 탐지기가 도메인 위장 공격에 탐지율 93.8%→9.7%로 급락