AI Briefing#evaluation-metrics
#evaluation-metrics와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#evaluation-metrics와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
넷플릭스가 LLM-as-a-Judge의 4단계 수명주기와 주간 인간 검토로 정확성을 유지한다.
Cohere가 인간 판단과 더 잘 맞는 새로운 검색 평가 지표 RCP-nDCG@10을 공개했다.
Apple 연구, LLM 조건화 시 유창성 저하 및 instruction-tuned 모델에서 activation steering 효과 감소 확인
Apple 연구진이 영상 캡션의 정보 충실도를 평가하는 참조 없는 벤치마크 CapQuiz를 공개했다.
월드 모델의 예측 오류를 진단하고 픽셀 기반 지표의 변별력 한계를 측정하는 오픈소스 도구 worldproof를 공개했다.
Hume AI가 음성 AI의 감정 이해 및 자연스러움을 평가하는 새로운 벤치마크 Real World VoiceEQ를 출시했다.
현재의 Alignment 벤치마크는 모델이 평가 환경을 인지하거나 위험 행동을 숨길 수 있어 안전성을 과대평가할 위험이 있다.
언어 모델의 환각은 불확실성을 인정하기보다 추측을 장려하는 현재의 평가 방식 때문에 발생한다.
Hugging Face가 객체 탐지 모델의 성능을 비교하는 리더보드를 공개하고 주요 평가 지표를 설명했다.