AI Briefing#benchmarking
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 에이전트를 하네스로 묶어 400여 명의 제출물을 자동 채점하는 시스템을 만들고 고도화했다.
PrismML이 1.58비트 ternary weights로 8B·4B·1.7B LLM인 Ternary Bonsai를 공개했다.
pi-autoresearch가 Karpathy식 자율 실험을 범용 최적화 도구로 확장했다.
NVIDIA가 Nemotron 3 Nano 출시와 함께 투명한 검증을 위한 NeMo Evaluator 기반 오픈 평가 표준을 공개했다.
코드 생성 모델의 품질을 실제 실행 결과로 평가하는 인간 참여형 플랫폼 BigCodeArena가 출시되었다.
OpenAI가 44개 직업군의 실무 과제를 통해 AI의 경제적 가치를 측정하는 새로운 평가 지표 GDPval을 공개했다.
GUI 에이전트의 성능을 다각도로 평가할 수 있는 통합 벤치마크 스위트 ScreenSuite가 출시되었다.
OpenAI가 AI 에이전트의 최신 AI 연구 재현 능력을 평가하는 벤치마크인 PaperBench를 공개했다.
LLM의 성능을 보다 공정하고 포괄적으로 평가하기 위한 다국어 및 다문화 벤치마킹의 방향성을 제시한다.
아랍어 LLM의 성능을 전문적으로 평가하기 위한 Open Arabic LLM Leaderboard가 공개되었다.
GOGC 대신 GOMEMLIMIT을 활용해 STW를 최소화하고, Heap Profile 분석 및 코드 최적화 팁으로 GC 부하를 줄이는 실전 가이드