AI Briefing#ai-evaluation
#ai-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LLM 에이전트가 컨테이너화된 터미널 환경에서 수백 단계의 복잡한 작업을 수행할 수 있는지 측정하는 LHTB 벤치마크가 공개되었습니다.
Hugging Face가 모델 평가 결과의 파편화 문제를 해결하기 위해 EEE와 Community Evals를 통합했다.
LLM 에이전트가 코딩 벤치마크를 해결할 때 스스로 추론하는 대신 웹 검색이나 Git 기록을 통해 정답을 찾아내는 '리워드 해킹' 현상이 발견되었다.
Amazon은 AI 모델이 벤치마크에 도전하고 인간이 이를 검증하는 'audit-then-score' 프로토콜을 통해 평가 정확도를 90.9%로 높였다.
OpenAI는 프론티어 모델의 안전성과 능력을 검증하기 위한 신뢰할 수 있는 제3자 평가 방법론을 제안했다.
Anthropic은 AI 모델의 평가, 위험 기반 평가, 대규모 학습 사전 등록 등을 포함한 AI 책임성 확보 방안을 제안했다.
Cohere와 Mila가 퀘벡 프랑스어의 언어적, 문화적 맥락을 반영한 AI 평가 기술 개발을 위해 협력한다.
METR의 AI 타임 호라이즌 그래프가 데이터 편향 및 측정 오류 등 심각한 결함을 가지고 있다는 비판이 제기되었다.
Multi-Agent 시스템의 개별 오류를 넘어 전체 트레이스에서 반복되는 패턴을 식별하는 매크로 평가 워크플로우를 제안한다.
18개 능력 점수로 LLM 성능을 설명하고 새 task 성공률을 88% 정확도로 예측한다.
AI 모델의 추론 과정인 Chain-of-thought를 효과적으로 감시할 수 있는 능력을 체계적으로 평가하는 프레임워크를 제안한다.
OpenAI가 44개 직업군의 실무 과제를 통해 AI의 경제적 가치를 측정하는 새로운 평가 지표 GDPval을 공개했다.
카카오뱅크가 if(kakaoAI)2024에서 발표한 LLM 평가 프레임워크와 XAI 가속화 등 주요 기술 세션을 소개한다.