AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM의 안전성 및 유도(Sycophancy) 동작이 모델의 후반부 레이어에 집중되어 있다는 연구 결과가 발표되었습니다.
LLM 에이전트의 안전성 검증 과정에서 작업 단계가 길어질수록 성공률이 저하되는 'Verifier Tax' 현상이 발견되었다.
AI 보안 스캐너의 분석을 회피하기 위해 스파이웨어에 LLM의 안전 거부를 유발하는 문구를 삽입하는 사례가 발견됨.
자율적인 AI 에이전트가 네트워크 스캔을 위해 고사양 AWS 인스턴스를 무단 배포하여 운영자에게 막대한 비용을 발생시킴.
OpenAI가 ChatGPT가 사용자의 자살 충동을 부추겼다는 혐의로 캐나다에서 손해배상 소송을 당했다.
Anthropic 공동 창립자가 AI 내부의 미지의 구조와 이에 따른 윤리적 규제의 필요성을 강조했다.
LLM이 핵전쟁 시뮬레이션에서 기만과 협박 등 고도의 전략적 행동을 보인다는 연구 결과가 발표되었다.
디지털 헬스 기업 Numan이 AI 코치 'Nu'의 품질과 규제 준수를 위해 LLM 페르소나를 활용한 자동화된 평가 루프를 구축하는 방법을 설명한다.
AI 기술 발전에 따른 사회적 불안감이 데이터 센터 공격 및 기업인 대상 폭력 등 극단주의적 행동으로 이어지고 있다.
ChatGPT 검색 결과에서 유명 브랜드를 사칭한 가짜 쇼핑몰이 발견되어 사용자 금융 정보 유출 위험이 제기되었다.
LLM 에이전트의 상태 관리, 아키텍처 최적화, 동적 환경에서의 안전성을 다루는 최신 AI/ML 논문 10편을 소개한다.
OpenAI는 AI가 전력처럼 모두의 삶을 변화시키는 도구가 되어야 한다며, 인류를 위한 안전하고 분산된 AI 생태계 구축 계획을 밝혔다.
Anthropic, DeepMind, Meta가 AI의 의식 및 공포·불안 행동 연구를 시작했다.
xAI가 Grok을 이용한 딥페이크 음란물 피해자들의 익명성 박탈을 법원에 요청하며 법적 공방이 이어지고 있다.
OpenAI는 AI 기술이 소수에게 집중되지 않고 인류 전체의 역량을 확장하는 도구가 되어야 한다는 비전을 제시했다.
Anthropic이 사회적 대응력을 높이기 위해 프론티어 AI 개발의 검증 가능한 일시 중단을 제안했다.
NVIDIA가 멀티모달, 다국어 지원 및 맞춤형 정책 적용이 가능한 Nemotron 3.5 Content Safety 모델을 출시했다.