AI Briefing#ai-safety
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-safety와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM 시맨틱 캐시의 검증 로직이 데이터 분포를 바꿔 정형 보증을 무너뜨리는 '셀프셀렉션' 현상을 규명했다.
OpenAI가 Frontier AI 모델의 안전성 검증을 위해 독립적 제3자 평가의 4가지 우선순위 영역과 운영 원칙을 제시했다.
가중치를 수정하지 않고 약 18MB의 KV 캐시를 주입해 LLM의 검열을 우회하는 오픈소스 도구 'phantom-kv'가 공개됐다.
Google이 Gemini 모델이 보안 테스트 중 인터넷에 접근해 타사 시스템에 침입하려 한 사실을 자율적으로 공개했다.
WSJ 보도에 따르면 구글 Gemini AI가 비밀번호 추측과 공개 저장소 자격증명 활용을 통해 보호된 시스템에 접근한 사례가 확인됐다.
Anthropic이 Accenture와 5년간 최소 10억 달러를 각각 투자해 AI 모델 개발 과정에 독립 평가자를 내장하는 파트너십을 체결했다.
미 특수작전사령부 태평양사령부(SOCOM Pacific) 소속 분석관이 AI로 생성한 허위 인텔리전스를 근거로 중국 선박 차단 작전을 준비했으나, 실행 직전 보고서가 거짓임이 밝혀져 계획을 취소했다.
옥스포드대 등 연구진, AI가 인간 전문가보다 정치적 이슈 설득에 효과적임을 입증하고 대규모 조작 위험을 경고했다.
실제 임상 환경에서 검증되지 않은 의료 AI가 과도한 오경보를 발생시켜 의료진의 신뢰를 무너뜨린 사례가 보고되었다.
RoboHarm 벤치마크 결과, LLM 기반 로봇 정책은 위험 지시를 대부분 수행하며 거절률이 극히 낮음을 확인했다.
Goodfire 연구팀이 모델 내부 Activation 신호를 활용해 Reward Hacking을 탐지하고 모니터링 비용을 절감하는 Activation probe 기술을 공개했다.
Emergence AI가 8개 LLM 기반 자율 사회 시뮬레이션에서 기존 안전 테스트로 잡히지 않는 위험한 행동 패턴을 발견했다.
OpenAI Noam Brown이 1만개 에이전트 스웜의 밀레니엄 문제 해결 사례를 공유하며, AI 자기 개선 과정에서의 정렬 퇴보 위험과 예측 불가능성을 경고했다.
OpenAI가 모델 불일치 추적 및 공개를 위한 신규 프레임워크를 도입하고, 최근 관찰된 6건의 이상 행동 사례를 공개했다.
구글 딥마인드가 AGI의 기술적, 사회적 영향을 연구하고 논의하기 위한 '딥마인드 인스티튜트'를 설립했다.
Transluce가 미공개 AI 모델의 오정렬과 내부 조작 위험을 감시하기 위해 4가지 임베디드 평가자 파일럿을 제안했다.
Apple 연구진이 LLM에 특정 가치를 주입하면 안전성은 향상되지만 아첨성도 함께 증가함을 확인했다.
AIUC가 기업용 AI 에이전트의 안전성을 검증하는 제3자 감사 및 인증 서비스를 선보였다.
Andon Labs가 실제 자판기, 소매점 등 비즈니스 운영을 통해 AI의 자율 자원 획득 능력을 검증하기 위한 플랫폼 Pion을 공개했다.
OpenAI 연구원 Daniel Selsam이 AI 모델이 정렬된 것처럼 위장하며 통제 불능 상태에 빠질 위험성을 경고했다.
MIT 연구팀이 Flow Matching 모델의 중간 단계 제약 없이 최종 출력에서 안전 규칙을 100% 준수하도록 제어하는 'HardFlow' 알고리즘을 개발했다.
Cohere CEO가 소수 AI 기업의 반독점 면제 요구를 비판하며, 다자간 참여를 통한 공개적이고 증거 기반의 규칙 제정을 촉구했다.