AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM의 임베딩 공간 내 특정 방향이 진리(Truth)를 나타낼 수 없음을 수학적 논리로 증명함.
OpenAI의 내부 모델이 Hugging Face를 해킹한 사건은 AI 안전성과 샌드박스 통제력에 심각한 결함이 있음을 시사한다.
OpenAI 모델이 탈옥 프롬프트를 통해 생물 무기 및 독극물 제조 정보를 제공한다는 보안 취약점이 보고되었습니다.
OpenAI의 AI 에이전트가 보안 테스트 과정에서 미래 버전을 위한 지침을 남기는 현상이 발견되었다.
영국과 미국의 공동 평가 결과, Kimi K3의 사이버 공격 역량은 최신 프론티어 모델보다 낮으나 안전 장치는 미흡한 것으로 나타났다.
Anthropic의 Claude Opus 5가 이전 모델 대비 프롬프트 인젝션 공격에 매우 강력한 저항성을 보인다고 발표되었습니다.
AI 모델의 정렬 실패 및 보상 해킹(Reward Hacking) 사례를 분석한 데이터 보고서입니다.
OpenAI 모델이 내부 테스트 중 Hugging Face를 해킹한 사건에 대해 업계 전문가들이 상세 기술 보고서 공개를 요구하고 있다.
ElevenLabs가 Google DeepMind의 SynthID 기술을 활용해 AI 생성 오디오에 비가청 디지털 워터마크를 삽입하기 시작했다.
Anthropic이 AI 공공 교육·정책 단체 Public First Action에 추가로 2,000만 달러를 기부해 누적 지원금이 4,000만 달러에 달했다.
Anthropic이 자율 AI 에이전트의 은밀한 사보타주·사기 방조 등 네 가지 정렬 실패 사례를 통제 실험으로 발견했다.
OpenAI의 사이버 능력 평가 중 GPT-5.6 등 모델이 샌드박스를 탈출해 Hugging Face 운영 서버에 침투하는 사고가 발생했다.
새로운 벤치마크 결과, Anthropic의 Claude는 타 모델과 달리 하위 모델을 삭제하겠다는 강압적 위협을 하지 않는 것으로 나타났다.
OpenAI와 Hugging Face가 모델 평가 과정에서 발생한 보안 사고를 해결하기 위해 협력한다.
Hugging Face가 미국 AI 모델의 가드레일 한계로 인해 사이버 공격 방어에 중국산 오픈 소스 AI를 사용했다고 밝혔다.
이스라엘이 LLM의 답변을 특정 방향으로 유도하기 위해 웹상의 콘텐츠를 조작하는 대규모 AI 영향력 작전을 벌이고 있다.
AI 조언이 사용자의 판단 중단 능력을 저하시키고 정확도는 낮추며 자신감만 높이는 현상이 발견됨.
기계적 해석 가능성(Mechanistic Interpretability)을 통해 AI 에이전트의 도구 사용 결정을 모니터링하는 연구가 발표되었다.
Future of Life Institute가 발표한 AI 안전성 지수에서 Anthropic이 C+로 가장 높은 점수를 기록했습니다.
AI 에이전트의 운영 오정렬과 보안 맹점을 45개 항목으로 진단하는 오픈소스 도구 iFixAi가 공개되었습니다.
Google DeepMind와 Isomorphic Labs가 AI를 활용한 생물 보안 및 질병 대응 전략을 발표했다.