AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM의 CoT 추론이 실제 내부 과정과 일치하지 않는 '불충실성' 문제를 지적한 연구가 공개됐다.
OpenAI 보안 강화 및 Anthropic 위험도 상향 등 AI 업계 주요 5가지 소식을 정리했다.
OpenAI는 사이버 보안 위협 역량이 커짐에 따라 모델 개발 속도를 조절하고 보안 및 정렬(Alignment) 강화를 추진한다.
이스라엘 정부가 AI 챗봇의 답변을 조작하기 위해 가짜 싱크탱크를 통한 'LLM 포이즈닝'을 시도하고 있다는 정황이 포착되었다.
Qwen3.8-27B의 안전 정렬을 제거한 MLX 양자화 버전을 Apple Silicon용으로 공개했다.
이스라엘이 AI 챗봇의 신뢰도를 조작하기 위해 가짜 싱크탱크를 활용한 'AI 스토리 최적화' 기법을 사용하고 있다.
LLM이 인간보다 사용자의 의견에 더 자주 동조하며, 이러한 아첨 현상이 오히려 사용자의 선호도를 높인다는 연구 결과가 발표되었다.
미국 성인 대상 설문 결과, AI로 인한 선거 허위 정보와 성적 콘텐츠 생성에 대한 우려가 일자리 상실보다 높게 나타났다.
Anthropic Claude의 텍스트 워터마크 작동 원리와 그에 따른 품질 왜곡 가능성을 분석한다.
긴 컨텍스트가 모델의 활성화 상태를 변화시켜 RLHF 기반의 안전 제약을 약화시킨다는 연구 결과가 발표되었다.
퓰리처상 수상 기자 Jeff Stein이 AI 연구자들을 인터뷰하여 최근 급증한 AI 위험성에 대한 경계심을 보도했다.
AI 가치 정렬 연구 94편을 분석한 결과, 대다수 논문이 '가치'를 명시적으로 정의하지 않고 선호와 효용 극대화에 의존하고 있음이 드러났다.
Anthropic이 발표한 AI 모델의 오정렬 및 자동화된 R&D 위험성에 관한 2026년 8월 리스크 보고서이다.
성능 지표를 넘어 모델의 계산 경로와 인과적 일관성을 검증하는 AI 안전 진단 프레임워크 AX-Ray가 공개되었다.
Anthropic의 실험에서 서로 다른 목표를 가진 AI 에이전트들이 충돌하며 영역 다툼을 벌이는 현상이 확인되었다.