AI Briefing#ai-benchmark
#ai-benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Ai2가 발표한 XYBench는 LLM이 사용자의 오개념을 바로잡는 능력을 측정함
Google이 MKA 벤치마크를 출시했고 Gemini 4 Carbon이 2위를 차지했다
GPT-6 Astra가 Claude Opus 4.6에 92% 승률로 우위를 보였다.
Replit ViBench 2.0에서 GPT-6.1 Sol이 65%로 1위를 차지했다
오픈소스 벤치마크 Parsimony가 AI 모델의 코드 효율성을 측정했으며, Gemini 3.1 Pro Preview가 가장 적은 코드를 추가했다.
GPT-6 Luna의 신뢰도 점수가 다단계 추론에서 심각하게 과대평가되어 오류 위험이 높다는 연구 결과가 나왔다.
Surge AI가 장기 금융 추론 능력을 평가하는 DAYJOB: Finance 벤치마크를 공개했다.
AI의 전자공학 설계 능력을 평가하는 EEBench가 공개되었으며, Claude Opus 5가 61.6%로 1위를 차지했다.
GPT-6 Astra가 로봇 블록 넣기 태스크에서 95% 성공률과 2.3배 낮은 비용으로 Claude Fable 5.1을 앞섰다.
LLM의 생물의학 연구 효율성을 평가하는 새로운 AI 벤치마크 TxBench-AB가 공개됐다.
Multiverse Computing이 Artificial Analysis 지수 43점으로 유럽 모델 중 최고 점수를 기록한 추론 모델 Quasar 438B를 공개했다.
Ornith-1.5가 397B부터 9B까지 다양한 규모의 오픈 모델로 출시되었습니다.
GPQA, MMLU-Pro 등 주요 AI 벤치마크에서 약 12%의 문항 오류가 발견되어 정제된 데이터셋이 공개됨.
Vercel이 AI 모델의 사이버 보안 취약점 탐색 능력을 평가하는 벤치마크인 DeepsecBench를 출시했다.
Meta의 차세대 모델 Watermelon이 GPT-5.5와 대등한 벤치마크 성능을 기록하며 개발 중이다.
복잡한 실제 데이터셋을 활용해 유전학, 생물학 및 과학 연구 분야의 AI 성능을 테스트하는 새로운 벤치마크인 GeneBench-Pro가 출시되었다.
데이터 오염을 방지하고 실제 소프트웨어 엔지니어링 복잡도를 반영한 새로운 코드 벤치마크 DeepSWE가 공개되었습니다.
중국 웨이보가 공개한 3B 규모의 VibeThinker 모델이 초거대 모델들을 능가하는 벤치마크 성적을 기록하며 논란이 되고 있다.
Kaggle이 로컬 개발 환경에서 AI 벤치마크 태스크를 직접 생성하고 실행할 수 있는 기능을 출시했다.
AI 모델의 성능을 넘어 비용 효율성을 나타내는 '달러당 지능'이 새로운 업계 표준으로 부상하고 있다.