AI Briefing#ai-benchmarks
#ai-benchmarks와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-benchmarks와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Perplexity Decisions API가 웹 검색으로 정확도를 86%까지 높였다.
프런티어 모델 4개가 최저 추론 설정에서 비용 절반 이하로 점수 80% 이상을 유지했다.
ServiceNow가 Gemma 4 기반 오픈 모델 Apriel Voice 27B Preview를 출시했다
Gemini 4 Carbon은 3D 성능이 향상됐으나 속도가 2~4배 느려졌다고 한다.
AutoJev-27B 등 3개 모델이 60점으로 단일 패스 결정 모델 벤치마크 1위를 차지했다
Contrary Research는 벤치맥싱이 AI 개발을 실제 유용성과 괴리시킨다고 지적한다
독립 분석 결과 AI 랩의 자체 보고 점수가 독립 테스트보다 평균 6.4% 높게 나타났다.
Mercor 분석 결과 미국 노동 시간 90%가 AI 벤치마크로 측정되지 않는 것으로 나타났다.
AI 벤치마크 격차 162개 중 통계적으로 명확히 구분되는 것은 20개뿐인 것으로 드러났다.
DeepSeek V4.1 Flash가 agentic coding에서 Anthropic을 제치고 미중 AI 격차를 3%로 좁혔다.
Claude Sonnet 5.5, Terminal-Bench 70.6% 달성하며 가격 유지 및 비용 30% 절감했다