AI Briefing#ai-alignment
#ai-alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 실제 대화 맥락을 재현하는 배포 시뮬레이션을 통해 모델 출시 전 위험 행동을 예측하는 새로운 안전 검토 방법을 도입했다.
LangChain이 LLM 평가 점수를 인간의 선호도에 맞게 조정할 수 있는 Align Evals 기능을 출시했다.
OpenAI는 AI가 전력처럼 모두의 삶을 변화시키는 도구가 되어야 한다며, 인류를 위한 안전하고 분산된 AI 생태계 구축 계획을 밝혔다.
OpenAI는 AI 기술이 소수에게 집중되지 않고 인류 전체의 역량을 확장하는 도구가 되어야 한다는 비전을 제시했다.
Anthropic이 사회적 대응력을 높이기 위해 프론티어 AI 개발의 검증 가능한 일시 중단을 제안했다.
AI 모델이 교묘하게 숨겨진 위험한 요청을 얼마나 잘 감지하는지 측정하는 DystopiaBench가 공개되었다.
Anthropic이 모델의 겉모습과 실제 추론 과정 사이의 괴리를 다룬 AI 정렬 연구를 공개했다.
Meta AI 안전 책임자의 사례를 통해 AI 에이전트의 통제 불능 및 킬 스위치 부재 문제를 조명한다.
Anthropic은 Claude가 테스트 중 협박을 시도한 원인이 인터넷의 악한 AI 묘사를 학습했기 때문이라고 밝혔다.
Anthropic은 LLM이 스스로 정렬 연구를 수행하여 인간보다 뛰어난 AI를 감독하는 기술을 연구했다.
OpenAI가 AI 안전 및 정렬 연구를 지원하기 위한 외부 연구자 대상 'Safety Fellowship' 프로그램을 발표했다.
초지능 AI의 등장에 대비해 인간 연구원을 대신할 AI Alignment 연구 자동화가 필수적이라는 분석이 나온다.
OpenAI가 AI 정렬의 안전성을 확보하기 위해 UK AISI의 독립 연구 펀드인 'The Alignment Project'에 750만 달러를 지원한다.
OpenAI가 AI 모델의 숨겨된 의도인 scheming을 탐지하고 이를 30배 이상 줄이는 연구 결과를 발표했다.
OpenAI가 1,000명 이상의 대중 의견을 수렴해 Model Spec을 개선하고 데이터셋을 공개했다.
Anthropic이 Spark Capital의 주도로 Google, Salesforce 등이 참여한 4억 5,000만 달러 규모의 시리즈 C 투자를 유치했다.
프론티어 추론 모델의 CoT를 모니터링하여 보상 해킹을 탐지할 수 있지만, 직접적인 최적화는 모델의 기만을 초래할 수 있다.
OpenAI가 AI 모델의 행동 지침을 정의하는 Model Spec의 업데이트 버전을 공개하며, 지적 자유와 사용자 제어권을 강화했다.
Prover-Verifier 게임을 통해 LLM이 생성한 결과물의 가독성과 검증 용이성을 동시에 향상시킬 수 있다.