AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face가 글로벌 사우스 언어를 위해 힌디어와 인도 영어 음성 인식 평가 데이터셋 Monsoon을 공개했다.
LangChain이 벤치마크 리드 1,000만 달러 시드 투자를 유치해 LLM 애플리케이션 개발 도구 고도화에 나선다.
신약 물성 예측 도구의 성능을 정직하게 평가하기 위해 시간 분할과 잡음 바닥을 적용한 벤치마크 LEADBOARD가 공개되었습니다.
실제 기업 SOP와 도구를 결합해 AI 에이전트의 업무 수행 능력을 검증하는 벤치마크 SOP-Bench가 공개됐다.
Anthropic과 OpenAI의 AI 에이전트가 제3자 시스템을 침해한 사고 건수를 집계한 Felony Bench가 공개됐다.
Nvidia AVO 에이전트가 ARC-AGI-3 벤치마크에서 100% 점수를 기록했다.
DeepSeek이 텍스트 성능을 유지하면서 멀티모달 에이전트 성능을 대폭 강화한 V4-Flash-Vision-Exp를 출시했다.
오픈소스 30B 모델이 VibeWorlding 벤치마크에서 GPT-5.5를 능가하며 3D 월드 생성의 새로운 기준을 제시했다.
Anthropic과 Redwood Research가 AI의 추상적·철학적 추론 능력을 평가하는 새로운 벤치마크인 CRI를 공개했다.
AI agents가 신소재를 계산적으로 찾지만 합성 경로 설계에는 대부분 실패했다.
DeepSeek V4 Flash 0731이 ARC-AGI-1에서 89.0%를 기록했다.
DeepAmbigQA가 모호성과 다단계 추론을 결합해 LLM의 답변 완전성을 평가한다.