AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Gemini Robotics-ER 1.6가 공간 추론·instrument reading·안전성을 강화했다.
I-DLM은 introspective consistency로 DLM의 품질과 속도를 동시에 끌어올린다.
AWS와 JHU가 AI 항체 설계 평가용 대규모 벤치마크를 공개했다.
FlashLM v8.3(6.5M CORTEX)이 같은 2시간 CPU·같은 데이터 조건에서 v5.2 Transformer baseline을 앞섰다.
실제 139개 과제로 LLM 에이전트를 검증하는 Claw-Eval 벤치마크가 공개됐다.
OpenAI가 SWE-bench Verified의 오염과 시험 결함을 지적하며 중단을 권고했다.
멀티모달 코딩 에이전트의 웹 개발 능력을 단계별로 평가하는 Vision2Web 벤치마크가 공개되었다.
18개 능력 점수로 LLM 성능을 설명하고 새 task 성공률을 88% 정확도로 예측한다.
AsgardBench는 이미지 관찰로 계획을 고쳐 쓰는 embodied AI 능력을 검증한다.