AI Briefing#evaluation
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
신약 물성 예측 도구의 성능을 정직하게 평가하기 위해 시간 분할과 잡음 바닥을 적용한 벤치마크 LEADBOARD가 공개되었습니다.
LangSmith가 개발자 워크플로우 최적화를 위해 홈페이지를 개편하고 리소스 관리 기능을 강화했다.
LangSmith가 인간의 피드백을 학습하여 LLM 평가 모델을 스스로 개선하는 기능을 선보였다.
기존 LLM 판사의 한계를 극복하기 위해 외부 시스템 검증이 가능한 에이전트 방식의 Agent Judge가 필요하다.
LangSmith Engine은 AI 에이전트의 실패 패턴을 분석하고 원인 진단부터 수정 제안까지 개발 주기를 자동화한다.
DeepMind가 GenAI 평가 비용을 최대 100배 줄이는 ProEval을 공개했다.
OpenAI가 SWE-bench Verified 보고 중단과 새 평가 축 전환을 발표했다.