AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
비공개 실무 기업 코드베이스로 AI 코딩 에이전트를 평가하는 Real-SWE 벤치마크가 공개되었으며, Fable 5.1이 38.8%의 해결률로 1위를 기록했다.
ARC Prize가 자율적 개방형 혁신을 평가하는 ARC-AGI-4 벤치마크를 공개하고 오픈소스 원칙을 재확인했다.
ModelRift가 Claude Opus 5 기반 에이전트로 CadQuery와 OpenSCAD를 비교한 결과, OpenSCAD의 조용한 실패 위험과 CadQuery의 명시적 실패 특성을 확인하고 OpenSCAD 유지를 결정했다.
Meta가 200명의 실제 웨어러블 시계열 데이터를 활용한 4,084개 건강 추론 문제 벤치마크 'WearableQA'를 공개했다.
Apple 연구진이 영상 캡션의 정보 충실도를 평가하는 참조 없는 벤치마크 CapQuiz를 공개했다.
DF26 벤치마크 연구 결과, 최신 AI 생성 영상 탐지에서 인간과 기존 탐지 기술 모두 무작위 수준 성능을 보였다.
Q2D-Web이 1억 9천만 문서와 10개 언어를 포함한 대규모 웹 검색 리트리버 평가 벤치마크를 공개했다.
NVIDIA가 지식과 판단을 분리한 NemoClaw 기반 에이전트를 공개해 벤치마크 정확도를 90.9%로 개선했다.
Sierra가 AI 모델의 에이전트 구축 능력을 평가하는 Hyper-τ-bench를 공개했으며, 인간 엔지니어 협업 시 성능이 82.2%까지 향상됨을 확인했다.
OpenBMB가 4B 이하 오픈 웨이트 모델 중 가장 높은 지능 지수를 기록한 MiniCPM5-2B를 공개했다.
vLLM이 AMD MI300X/MI355X GPU에서 Native MTP, EAGLE-3, DFlash 등 5가지 추측 디코딩 방식의 처리량과 최적 설정을 비교한 상세 벤치마크 결과를 공개했다.
PyTorchKR가 연산 효율, 자율 에이전트, 멀티모달 추론 등 3대 트렌드를 중심으로 10편의 최신 AI/ML 논문을 요약했다.
OpenAI가 AGI 근거로 제시한 GPT-6 Astra의 99.9% 점수는 자체 하네스 결과이며, 표준 하네스에서는 62.7%로 나타나 ARC Prize가 AGI 선언을 거부했다.
APL의 AI-Eval 프로파일은 평가 조건이 다른 점수에 적용 가능한 bridge가 없으면 'incomparable'을 반환하며, 점수의 정확성이나 실제 실행의 절차 준수는 보장하지 않는다.
벤치마크 채점 방식에 맞춘 데이터 합성 파이프라인 'Auto-BenchMax'가 공개되어 MCP-Atlas 점수를 2배 이상 개선했다.
OpenAI가 GPT-6 Astra를 공개하며 ARC-AGI-3 99.9% 달성 등 성능과 정렬 안전성을 대폭 개선했다.
Qwen 팀이 Taobao와 협력해 1년간의 실제 시장 데이터를 기반으로 한 장기 운영 에이전트 벤치마크 E-Commerce Bench를 공개했다.
오픈소스 AI 탐지 모델 6종을 평가한 결과, 4종이 오검출률 0.5% 기준을 충족하지 못했으며 인간화 텍스트 탐지율은 최대 42%에 그쳤다.
기존 정적 벤치마크의 한계를 극복한 파라미터화 태스크 기반 안드로이드 에이전트 벤치마크 AndroidWorld가 공개됐다.
소형 트랜스포머를 1.5시간 동안 학습해 ARC-AGI-1 벤치마크에서 44%의 성능을 67센트 비용으로 달성했다.
Google Cloud AI Research 등이 정적 벤치마크 환경을 에이전트의 약점에 맞춰 동적으로 재구성하는 래퍼 계층 'EnvHarness'를 제안했다.
Terminal Bench 4.0이 공개되었으며, GLM-5.3은 오차 범위 내에서 Fable 5와 동일한 성능을 보였다.
Stanford 연구진이 실제 과학 워크플로우를 기반으로 한 AI 에이전트 벤치마크 Terminal-Bench-Science 0.1을 공개했다.