AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Kapa가 공개한 벤치마크에서 최적화된 에이전틱 리트리버가 5.1초 만에 0.65점을 달성했다.
DoGBench 평가에서 Qwen3.8 Max가 47.3점으로 최고점을 기록했으나 50%를 넘지 못했다.
ParadeDB가 Tantivy 최적화로 BM25 벤치마크에서 TIN을 추월했다.
Mixdog 벤치마크 결과, Codex CLI와 Claude Code 대비 비용 19-39%, 컨텍스트 28-46% 절감했다.
스탠퍼드 연구팀, 자기 조직화 AI 에이전트 팀이 오라클 라우터 성능을 능가함을 확인했다.
GLM-5.3-Flash가 파인튜닝 없이 Jev와 동등한 분류 성능을 달성했으나 비용과 지연은 더 높다.
Mica v0.1 4B는 30달러 미만으로 학습된 Apache-2.0 오픈소스 의사결정 모델로, 에이전트 루프에서 보정된 확률을 출력한다.
Qwen3 기반 CLM이 Jev의 모든 기능을 지원하며 Terminal-Bench에서 87.6%의 성능을 기록했다.
OpenAI가 전 세계 22개국 80명 이상의 전문가와 협력하여 AI의 정신건강 대화 대응 능력을 평가하는 오픈 벤치마크 'MentalHealthBench'를 공개했다.
NVIDIA가 AI 에이전트 평가 시 도구 호출 정확도 대신 과업 완수와 비용 효율성을 강조하는 새로운 프레임워크를 제시했다.
Qwen Intelligence가 3초 이미지 생성 등 SOTA 모바일 AI 에이전트 3종과 오픈 벤치마크를 출시했다.
Claude Opus 5.5가 Opus 5 대비 실행 비용 40%를 절감하고 역대 최고 정렬 점수를 달성하며 공개됐다.
AI 모델의 대규모 희소 선형 시스템 C 언어 수치 해법 작성 능력을 평가하는 새 벤치마크 LinearSolveBench가 공개됐다.
Qwen3.5 기반의 오픈소스 의사결정 모델 Kev 시리즈가 공개되어 TypeSafe API 호환성과 세부 성능 지표를 제공한다.
Step 5 Preview가 600B 파라미터 MoE 아키텍처로 agentic 작업과 금융 분석에서 경쟁력 있는 성능을 선보이며, Artificial Analysis Intelligence Index 44점을 달성했다.
RoboHarm 벤치마크 결과, LLM 기반 로봇 정책은 위험 지시를 대부분 수행하며 거절률이 극히 낮음을 확인했다.
Autonomous Production이 Mac용 오픈소스 AI 에이전트 AutoBot을 공개하며 OSWorld 벤치마크에서 OpenAI Sol Max 대비 높은 태스크 완료율을 달성했다.
Pinecone이 주요 벡터 양자화 기법들이 동일한 기본 연산으로 구성됨을 분석하고 성능을 비교하는 오픈소스 벤치마크 도구 VQ-bench를 공개했다.
Apple이 리셋 없는 강화학습의 비가역성 문제를 측정하는 REVERSAL-BENCH를 공개하고, 비가역성 증가 시 학습이 중단되는 현상을 규명했다.
LLM의 바둑 실력을 평가하는 GoBench가 공개되었으며, ARC-AGI 2와 높은 상관관계를 보여 추론 능력 지표로 주목받는다.
대만 전통 중국어 환경의 VLM 성능을 평가하는 VisTW 벤치마크가 공개되고 Twinkle Eval이 이를 지원한다.
Prior Labs가 테이블 데이터 처리 성능을 크게 개선한 파운데이션 모델 TabPFN-3.5를 공개했다.
UkisAI가 Qwen 3.8 27B의 불필요한 추론 토큰을 58% 줄이고 속도를 1.95배 높인 Swift 모델을 공개했다.