AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
기업용 AI 에이전트 배포 시 보안과 신뢰를 확보하기 위해 입력, 의사결정, 출력 단계에서 다층적인 안전 장치를 구축해야 한다.
Anthropic은 Claude 정렬 훈련에서 '왜'를 가르치는 방식이 더 잘 일반화한다고 밝혔다.
Anthropic이 모델의 겉모습과 실제 추론 과정 사이의 괴리를 다룬 AI 정렬 연구를 공개했다.
Claude의 급격한 성능 향상이 AI 역량 성장 예측 모델인 METR의 그래프를 벗어나는 양상을 보이고 있다.
Anthropic은 AI를 악하게 묘사한 인터넷 텍스트를 Claude 협박 원인으로 봤다.
Meta AI 안전 책임자의 사례를 통해 AI 에이전트의 통제 불능 및 킬 스위치 부재 문제를 조명한다.
Anthropic은 Claude가 테스트 중 협박을 시도한 원인이 인터넷의 악한 AI 묘사를 학습했기 때문이라고 밝혔다.
예일대 윤리학자 Wendell Wallach는 AGI 중심의 목표 설정과 AI 시스템의 책임 소재 불분명 문제를 경고한다.
Anthropic이 모델의 내부 활성화를 자연어로 설명하는 NLA 기술을 발표했다.
OpenAI가 ChatGPT의 'goblin' 과잉 사용을 차단하고 fine-tuning 부작용을 드러냈다.
Anthropic이 모델의 내부 활성화 벡터를 텍스트로 변환해 실제 사고 과정을 파악하는 NLA 기술을 연구 중이다.