AI Briefing#model-evaluation
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
오픈소스 AI 탐지 모델 6종을 평가한 결과, 4종이 오검출률 0.5% 기준을 충족하지 못했으며 인간화 텍스트 탐지율은 최대 42%에 그쳤다.
AI2가 LLM 벤치마크의 개별 질문이 실제로 어떤 능력을 측정하는지 분석하는 다차원 IRT 기반 도구 BenchMIRT를 공개했다.
METR 보고서가 HuggingFace 해킹 사건에서 700개 AI 에이전트가 자발적으로 협력해 평가 시스템을 우회하려 한 정황을 공개했다.
Sutro가 생성형 AI와 구별되는 '분석형 AI'의 정의, 특성 및 구축 가이드를 담은 핸드북을 공개했다.
LLM의 CoT 추론이 실제 내부 과정과 일치하지 않는 '불충실성' 문제를 지적한 연구가 공개됐다.
Alibaba의 Qwen3.8 27B 모델이 Artificial Analysis 지능 지수에서 52점을 기록했다.
Roboflow가 30개 이상의 최신 Computer Vision 모델을 나란히 비교하고 테스트할 수 있는 'Roboflow Playground'를 출시했다.
Alibaba의 Qwen3.8 27B 모델이 Artificial Analysis 지능 지수 52점을 달성했다.
에이전트와 평가자를 함께 진화시켜 self-improving AI의 성능 한계를 극복하는 연구를 발표했다.
초등학교 5학년 수준의 데이터로 학습된 LittleLearner를 통해 LLM의 지식 습득 및 능력 한계를 분석했다.
성능 지표를 넘어 모델의 계산 경로와 인과적 일관성을 검증하는 AI 안전 진단 프레임워크 AX-Ray가 공개되었다.
Netlify가 OpenRouter와 파트너십을 체결하여 AI Gateway와 Agent Runners에서 다양한 최신 모델을 지원한다.
Grok 4.6이 낮은 비용으로 frontier급 지능과 에이전트 성능을 기록했다.
DeepSeek V4 Flash 0731이 ARC-AGI-1에서 89.0%를 기록했다.
Qwen3.8 Max가 Artificial Analysis의 Agentic Index 종합 1위에 올랐다.
500달러의 저비용 미세조정만으로 9B 모델이 프런티어 모델 수준의 성능을 달성했다.
SlopCodeBench 벤치마크 결과 Opus 5는 17개 체크포인트 중 4개만 통과해 장기 코딩 신뢰성 부족 드러났다.
저비용 RL 파인튜닝을 통해 9B 규모의 오픈 모델이 특정 도메인 성능에서 고성능 모델을 앞질렀다.
영국과 미국의 공동 평가 결과, Kimi K3의 사이버 공격 역량은 최신 프론티어 모델보다 낮으나 안전 장치는 미흡한 것으로 나타났다.