AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face가 Math-Verify 도입으로 Open LLM Leaderboard의 수학 평가 오류를 해결하고 순위를 재산정했다.
Adyen과 Hugging Face가 데이터 분석 에이전트의 능력을 평가하는 DABstep 벤치마크를 공개했다.
HuggingFace가 사실성과 유용성을 동시에 평가하는 3C3H 지표 기반의 아랍어 LLM 벤치마크 AraGen을 공개했다.
BAAI가 기존 LLM 평가의 한계를 보완하기 위해 다국어 지원 토론 기반 플랫폼 'FlagEval Debate'를 공개했다.
LangChain 팀이 데이터셋과 평가 지표를 기반으로 프롬프트를 자동 개선하는 Promptim 라이브러리를 공개했다.
New Computer가 LangSmith를 활용해 에이전트 메모리 시스템의 재현율을 50%, 정밀도를 40% 개선했다.
LLM의 보안 취약점과 사이버 공격 역량을 종합적으로 평가하는 CyberSecEval 2 프레임워크가 공개되었습니다.
LangSmith가 LLM 애플리케이션의 성능 변화를 정밀하게 비교하고 분석할 수 있는 개선된 회귀 테스트 기능을 출시했다.
의료 분야 LLM의 성능을 표준화된 방식으로 평가하기 위한 Open Medical-LLM Leaderboard가 공개되었다.
Upstage가 한국어 LLM의 성능을 공정하게 평가하기 위한 Open Ko-LLM Leaderboard를 출시했다.
복잡도 클래스를 활용해 LLM의 논리적 추론 능력을 동적으로 평가하는 NPHardEval 리더보드가 공개되었다.
Hugging Face의 새로운 템플릿을 활용해 맞춤형 LLM 리더보드를 구축하는 기술적 방법과 Vectara의 사례를 소개한다.
Open LLM Leaderboard의 DROP 벤치마크에서 모델 점수가 비정상적으로 낮게 측정된 원인이 평가 지표의 정규화 오류임을 밝혀냈다.
LangChain이 개발자들이 LLM 아키텍처를 쉽게 비교하고 검증할 수 있도록 LangSmith의 데이터셋 및 결과 공유 기능을 출시했다.
LangChain이 LLM 애플리케이션 평가를 위해 여러 테스트 실행 결과를 나란히 비교할 수 있는 LangSmith의 신기능을 공개했다.
Open LLM Leaderboard와 모델 논문 간의 MMLU 벤치마크 점수 차이가 발생하는 기술적 원인을 분석한다.
Hugging Face가 LLM의 데이터 라벨링 신뢰성을 검증하기 위해 Open LLM Leaderboard의 평가 방식을 확장했다.