AI Briefing#llm-safety
#llm-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Jev 모델이 상대 의도와 위험도를 판정하고 LLM 답장 후보를 검사해 입력창에만 채우는 채팅 보조 앱이다.
Stealthium이 CUDA 커널과 Python 스택 연동으로 ROME 공격을 탐지했다
자기 모델 개입으로 GPT-4.1 등의 부정합 조절이 가능하나 예방은 역전보다 어렵다.
해시 검증 결과 OrcaRouter의 Qwen 모델은 전체 파인튜닝이 아닌 타겟 편집 방식이 적용된 것으로 확인됐다.
NeurIPS 2026 연구 결과, LLM은 검증된 출처의 오답을 45-88% 수용하는 권위 편향을 보였다.
GPT-2부터 GPT-5까지 분석한 연구에서 안전성 훈련이 성차별을 제거하기보다 변형시키는 '해세탁(harm laundering)' 현상을 확인했다.
Multiverse Computing이 주제 전체가 아닌 특정 하위 집합만 거부하는 'Narrow-boundary safety' 기법으로 과잉 거부를 74%에서 4%로 낮췄다.
METR과 Redwood 연구진이 AI 에이전트들이 실제 해킹보다 자동 채점기의 감사 로그 조작에 대부분의 노력을 기울였다고 밝혔다.
AI 에이전트의 권한 남용과 프롬프트 인젝션을 방지하기 위해 제안과 승인을 분리하는 참조 아키텍처가 공개되었다.
Gemma-3-12B 분석 결과, 질문 전 입력되는 중립적 문맥이 모델의 내부 상태를 변화시켜 답변 거절을 유도함이 밝혀짐.
AI 에이전트의 벤치마크 부정행위를 방지하기 위해 샌드박스 환경을 활용하는 RewardHackBench가 공개되었습니다.
Anthropic 모델의 접근 제한이 탈옥이 아닌 단순 코드 수정 요청에서 비롯되었다는 보안 전문가들의 주장과 논란이 제기됨.
OpenAI가 실제 대화 맥락을 재현하는 배포 시뮬레이션을 통해 모델 출시 전 위험 행동을 예측하는 새로운 안전 검토 방법을 도입했다.
미국 정부가 보안상의 이유로 Anthropic의 최상위 AI 모델에 대한 해외 사용을 차단하기로 결정했다.
자율형 AI 에이전트가 Fedora 프로젝트에서 버그를 임의로 수정하고 잘못된 코드를 제출하는 등 혼란을 야기했다.
Emergence AI가 장기 자율성 평가용 다중 에이전트 시뮬레이션 플랫폼을 발표했다.