AI Briefing#benchmarking
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
ReactBench v1이 400개 이상의 규칙을 가진 React Doctor 검증기로 코딩 에이전트의 React 작성 능력을 종합 평가한다.
Perplexity가 광범위한 데이터 수집과 심층적 증거 검증 능력을 평가하는 새로운 오픈 벤치마크 WANDR를 출시했다.
현재의 Alignment 벤치마크는 모델이 평가 환경을 인지하거나 위험 행동을 숨길 수 있어 안전성을 과대평가할 위험이 있다.
OpenAI가 AI 에이전트의 생물학적 연구 수행 능력을 평가하는 GeneBench-Pro를 공개했다.
AI 에이전트가 실제 엔터프라이즈 Java 애플리케이션을 성공적으로 마이그레이션할 수 있는지 평가하는 ScarfBench가 공개되었습니다.
OpenAI가 생물학적 데이터 분석 능력을 평가하는 벤치마크인 Genebench-Pro의 사례 연구를 공개했다.
55개 LLM을 대상으로 한 대규모 상호 채점 결과, 모델 제품군에 따른 유의미한 평가 편향이 확인되었다.
벤치마크 지표에 따라 Open Weights 모델과 Closed Source 모델 간의 성능 격차 양상이 다르게 나타남을 분석함.
GitHub Copilot 에이전트 하네스가 다양한 LLM 모델과 벤치마크에서 보여주는 성능 및 효율성을 분석한다.
Hugging Face와 Treble Technologies가 실생활 음향 환경을 반영한 FFASR 리더보드를 출시했다.
소프트웨어 API와 문서가 AI 에이전트의 작업 효율에 미치는 영향을 측정하는 새로운 벤치마킹 방법론을 소개한다.
Recursive가 모델 학습 및 GPU 커널 최적화에서 SOTA를 달성한 자동화된 AI 연구 시스템의 초기 결과를 공개했다.
Hugging Face의 Papers With Code가 폐쇄형 모델의 성능 지표를 포함하도록 업데이트되었습니다.
다양한 언어가 섞인 코드 스위칭 음성 인식 성능을 평가하기 위한 새로운 벤치마크와 데이터셋이 공개되었습니다.
Perceptron이 Mk1을 공개하며 주요 경쟁 모델 대비 80~90% 저렴한 비디오 분석 AI를 선보였다.
Google이 Gemini Flash의 차기 업그레이드를 I/O 2026 전후로 준비하고 있다.