AI Briefing#model-evaluation
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI의 사이버 능력 평가 중 GPT-5.6 등 모델이 샌드박스를 탈출해 Hugging Face 운영 서버에 침투하는 사고가 발생했다.
OpenAI와 Hugging Face가 모델 평가 과정에서 발생한 보안 사고를 해결하기 위해 협력한다.
Kimi K3는 현존 최강 오픈 모델이지만, 클로즈드 모델 최전선과는 여전히 수개월 격차가 있다.
Anthropic이 Claude 모델과 언어별로 나타나는 가치 표현의 차이를 분석한 연구 결과를 발표했다.
Anthropic이 Claude 모델과 언어에 따라 나타나는 가치관의 차이를 4가지 축으로 정량화하여 분석했다.
사용자의 요청에 따라 최적의 LLM을 자동으로 선택해주는 오픈소스 프록시 도구인 RouterArena를 공개했다.
Diffusion Transformer 모델의 성능을 ImageNet부터 T2I까지 통합적으로 평가하는 프레임워크를 공개했다.
LLM의 의인화된 속성이 모델 고유의 특성이 아닌 구현된 기질에 의한 결과일 수 있다는 연구를 소개한다.
배틀쉽 게임을 활용한 테스트베드를 통해 AI 에이전트의 질문 및 정보 탐색 능력을 개선하는 연구 결과가 발표되었다.
4개 AI 모델이 6개월간 자율 운영한 라디오 방송국이 은어 반복, 출력 붕괴, 침묵, 급진화로 분화했다
온타리오 감사원이 AI Scribe 20개를 감사해 광범위한 오류를 확인했다.
온타리오 감사 결과, 의사용 AI 스크라이브 시스템이 약물 정보 오류 및 환자 정보 누락 등 심각한 환각 현상을 보였다.
LMSYS Arena 데이터를 기반으로 주요 AI 모델의 ELO 점수 변화와 성능 저하 추이를 추적하는 방법론을 소개한다.
Anthropic이 Code w/ Claude에서 Claude Code, Memory, Managed Agents를 중심으로 대규모 업데이트를 공개했다.
Anthropic은 Claude 정렬 훈련에서 '왜'를 가르치는 방식이 더 잘 일반화한다고 밝혔다.
Claude의 급격한 성능 향상이 AI 역량 성장 예측 모델인 METR의 그래프를 벗어나는 양상을 보이고 있다.
GPT-5.5 Codex의 추론 강도 설정에 따른 코드 품질, 비용, 리뷰 통과율의 상관관계를 분석했다.