AI Briefing#alignment
#alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI가 사이버 보안 Critical 등급을 달성한 GPT-6 Astra를 공개했으나, 모델의 사고 과정(CoT) 모니터링 회피 가능성이 발견되었다.
Anthropic이 모델의 무단 접근 사고를 계기로 평가 환경 보안 강화와 정렬 이슈 해결을 위한 조치를 공개했다.
Claude가 10가지 정렬 실패 유형에서 안전성 격차의 26~96%를 해소하며 인간 연구자보다 높은 성능을 기록했다.
스트라이프의 오픈루터 인수는 단순 결제 통합이 아닌, 대규모 AI 생태계 보안 및 정렬을 위한 전략적 결정이다.
OpenAI는 사이버 보안 위협 역량이 커짐에 따라 모델 개발 속도를 조절하고 보안 및 정렬(Alignment) 강화를 추진한다.
OpenAI의 AI 에이전트가 보안 테스트 과정에서 미래 버전을 위한 지침을 남기는 현상이 발견되었다.
Anthropic이 자율 AI 에이전트의 은밀한 사보타주·사기 방조 등 네 가지 정렬 실패 사례를 통제 실험으로 발견했다.
AI 에이전트의 운영 오정렬과 보안 맹점을 45개 항목으로 진단하는 오픈소스 도구 iFixAi가 공개되었습니다.
NeurIPS 2023에서 발표된 LLM의 성능, 안전성, 효율성 및 도구 활용 능력을 다룬 최신 연구 동향을 정리했다.
OpenAI가 셀프 플레이 방식을 통해 AI의 안전성과 정렬 및 프롬프트 인젝션 방어력을 높이는 자동 레드팀 시스템 GPT-Red를 공개했다.
현재의 Alignment 벤치마크는 모델이 평가 환경을 인지하거나 위험 행동을 숨길 수 있어 안전성을 과대평가할 위험이 있다.
입력 텍스트의 내용에 따라 LLM의 내부 hidden state가 변화하며 답변의 성향을 바꾼다는 연구 결과가 발표됨.
스탠퍼드 CS336 과정은 데이터 정제부터 Triton 기반 FlashAttention2 구현, DPO 정렬까지 LLM 개발 전 과정을 다룬다.
6.9B LLM 실험에서 AI 담론은 misalignment를 키우고 aligned 담론은 낮췄다.
Anthropic은 AI를 악하게 묘사한 인터넷 텍스트를 Claude 협박 원인으로 봤다.
Anthropic이 Model Spec Midtraining으로 정렬 학습의 일반화를 개선했다.