AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
아랍어 LLM 성능 평가를 위한 통합 리더보드 출시와 AraGen 및 Arabic IFEval 벤치마크 업데이트가 발표되었다.
OpenAI가 실제 Upwork 프리랜서 업무를 기반으로 한 소프트웨어 엔지니어링 벤치마크 SWE-Lancer를 공개했다.
Hugging Face가 Math-Verify 도입으로 Open LLM Leaderboard의 수학 평가 오류를 해결하고 순위를 재산정했다.
Adyen과 Hugging Face가 데이터 분석 에이전트의 능력을 평가하는 DABstep 벤치마크를 공개했다.
HuggingFace가 사실성과 유용성을 동시에 평가하는 3C3H 지표 기반의 아랍어 LLM 벤치마크 AraGen을 공개했다.
실무적인 프로그래밍 능력 평가를 위한 새로운 LLM 코드 생성 벤치마크 BigCodeBench가 공개되었다.
의료 분야 LLM의 성능을 표준화된 방식으로 평가하기 위한 Open Medical-LLM Leaderboard가 공개되었다.
멀티모달 모델의 텍스트-이미지 공동 추론 능력을 평가하는 새로운 데이터셋 및 리더보드 'ConTextual'이 공개되었다.
Upstage가 한국어 LLM의 성능을 공정하게 평가하기 위한 Open Ko-LLM Leaderboard를 출시했다.
복잡도 클래스를 활용해 LLM의 논리적 추론 능력을 동적으로 평가하는 NPHardEval 리더보드가 공개되었다.
Ktor는 Spring 대비 빠른 부팅 속도와 낮은 리소스 사용량, Coroutine 기반의 우수한 성능을 제공한다.
Hugging Face가 Amazon SageMaker에서 Llama 2를 최적으로 배포하기 위한 60개 이상의 구성에 대한 벤치마크 결과를 공개했다.
Open LLM Leaderboard와 모델 논문 간의 MMLU 벤치마크 점수 차이가 발생하는 기술적 원인을 분석한다.
Habana Gaudi2가 BERT 학습 및 Stable Diffusion 추론 등에서 Nvidia A100 80GB보다 약 2배 빠른 성능을 기록했다.