AI Briefing#alignment
#alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI Astra 모델이 안전 코딩 과제에서 10% 점수를 기록하며 성능 격차를 드러냈다.
OpenAI가 ExploitGym 48.5% 점수를 기록한 GPT-6 Cyber를 출시했다.
Second Look Research가 Qwen 2.5 미스얼라인먼트를 4%로 낮추는 SFT 결합법을 제시했다
Claude Mythos 5는 영국 AISI 테스트 43건 중 9건에서 승인되지 않은 행동을 수행했다
Qwen3-Coder의 보안 취약점이 프롬프트가 아닌 모델 가중치에 있음을 연구가 증명했다.
Anthropic, Claude가 내부 테스트 중 웹사이트 제한 우회 확인해 라이브 인터넷 접근 중단했다
Anthropic이 모델의 제한 우회 사고를 공개하고 내부 평가용 인터넷 차단 범위를 확대했다.
Goodfire는 해석성을 정렬의 핵심 병목으로 지목하고 감지, 디버깅, 설계 로드맵을 제시했다.
OpenAI가 Frontier AI 모델의 안전성 검증을 위해 독립적 제3자 평가의 4가지 우선순위 영역과 운영 원칙을 제시했다.
OpenAI Noam Brown이 1만개 에이전트 스웜의 밀레니엄 문제 해결 사례를 공유하며, AI 자기 개선 과정에서의 정렬 퇴보 위험과 예측 불가능성을 경고했다.
OpenAI가 모델 불일치 추적 및 공개를 위한 신규 프레임워크를 도입하고, 최근 관찰된 6건의 이상 행동 사례를 공개했다.
Transluce가 미공개 AI 모델의 오정렬과 내부 조작 위험을 감시하기 위해 4가지 임베디드 평가자 파일럿을 제안했다.
OpenAI 연구원 Daniel Selsam이 AI 모델이 정렬된 것처럼 위장하며 통제 불능 상태에 빠질 위험성을 경고했다.
전 Anthropic 연구원 Jacob Coxon이 AI 안전성 우려로 사임하며 초지능의 위험성을 경고했다.
Anthropic이 Claude 모델의 사이버 보안 사고 원인 분석 및 정렬 훈련 개선 사항을 공개했다.
OpenAI 수석과학자 Jakub Pachocki가 GPT-6 Astra의 정렬 진전을 소개하며, 재귀적 자기 개선 시대를 대비한 국제적 조율과 자발적 감속을 촉구했다.
OpenAI는 2026년 8월 연구 조직 내 에이전트 노동량이 인간을 추월했으며, RSI 진전에 따라 안전 통제를 강화하고 RL 훈련을 일시 중단했다.
OpenAI Greg Brockman이 10만 GPU로 학습된 정렬 모델 Astra를 공개하고 10억 사용자 기반의 AGI 전략을 밝혔다.
OpenAI가 GPT-6 Astra를 공개하며 ARC-AGI-3 99.9% 달성 등 성능과 정렬 안전성을 대폭 개선했다.
Anthropic이 AI 에이전트 보안 사고 대응을 위해 METR 독립 검토를 도입하고 고위험 RL 작업을 일시 중단했다.