AI Briefing#model-evaluation
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI Wellbeing 논문은 창작·협업 대화가 모델의 '기분'을 높이고 jailbreak 시도가 가장 나쁘다고 밝혔다.
AI Wellbeing 논문이 frontier 모델의 functional wellbeing 측정 지표를 제시했다.
AI 모델의 급격한 발전으로 기존 벤치마크가 빠르게 포화되며 성능 상한선 측정이 어려워지고 있다.
Anthropic이 AI 모델의 고도화된 역량과 위험을 측정하기 위해 제3자 기관의 평가 개발을 지원하는 새로운 이니셔티브를 발표했다.
LangSmith를 사용하여 파인튜닝된 오픈 소스 모델의 성능을 체계적으로 평가하고 비교하는 프로세스를 소개한다.
Hugging Face가 언어 모델의 독성, 극성, 유해성을 측정할 수 있는 편향성 평가 지표를 🤗 Evaluate 라이브러리에 추가했다.