AI Briefing#benchmarking
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
WorldFoundry가 270개 모델과 74개 벤치마크를 통합해 재현 가능한 월드 인텔리전스 평가를 제공한다
Atlas.scime.ai가 2026 AI 컨퍼런스 데이터를 추가하며 LLM 에이전트와 멀티모달 성장세를 보여줬다.
Meta가 3분의 1 비용으로 Claude Haiku 5.5 성능을 맞춘 Muse Ember를 출시했다.
OpenAI 데이터 분석 결과 AI R&D 시간 지평이 2개월마다 배가될 수 있음이 확인됐다
METR, Anthropic AI R&D 가속도 1.9배로 추정하고 병목 부재 확인했다
무료 도구 Atlas.scime.ai가 109k ML 논문을 1,260개 주제로 매핑했다
새 인덱스에서 폐쇄형 모델이 Kimi K3.1 Pro를 앞섰다고 Lambert가 분석했다
Claude Opus 5.5가 58점으로 지수 1위를 차지하며 오픈 웨이트 격차가 12점으로 확대됐다
Google Research가 모델 가중치 변경 없이 에이전트 성능을 최대 11.5점 높이는 오픈소스 프레임워크 Harness²를 공개했다.
Vals가 모델 라우터 독립 평가를 도입해 오라클 라우터가 단일 모델 대비 성능 14점 향상 및 비용 40% 절감을 입증했다.
DHH의 AI 코드 재작성 분석 결과, 성능 문제와 아키텍처 불일치로 인간 감독의 필요성이 확인됐다.
Cloudflare가 새로운 측정 방식으로 전 세계 1,000대 네트워크 중 74%에서 가장 빠른 것으로 집계됐다.
Apple이 장기 에이전트 훈련용 SCLATE를 공개해 한 달 시나리오를 몇 시간으로 압축했다.
Fig 분석 결과 프런티어 모델은 에이전트 작업에서 불균등한 성능을 보이며 일관된 우위 모델이 없다.
LLM 연구 에이전트가 벤치마크 과적합 없이 일반화하는 이유는 성공 전략이 높은 압축성을 지니기 때문이다.
ArtificialAnalysis의 LLM 지능-비용 그래프는 로그 스케일과 비현실적 가격 책정으로 인해 실제 비용 차이를 왜곡한다는 비판이 제기됐다.
Ora는 Vercel 인프라 위에서 주요 AI 에이전트를 실시간 웹사이트에서 비교 테스트하는 플랫폼을 구축했다.
마이크로소프트 리서치가 정확도를 높인 Skala 1.1을 공개하고 주요 시뮬레이션 코드 통합을 확대했다.
NVIDIA와 협업한 SkillEvaluator가 ClawHub에 도입되어 에이전트 스킬의 성능 향상을 정량적으로 입증한다.
LangChain이 LangSmith Engine의 이슈 식별 및 분류 능력을 평가하기 위한 합성 벤치마크인 IssueBench를 구축했다.