AI Briefing#ai-evaluation
#ai-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Microsoft가 합성 데이터로 Copilot 평가 기준선을 구축해 데이터 품질을 39% 개선했다.
새 인덱스에서 폐쇄형 모델이 Kimi K3.1 Pro를 앞섰다고 Lambert가 분석했다
LangGraph supervisor 구조와 AgentCore 도구 연동으로 복합 질의 처리 및 응답 시간 60% 단축을 검증했다.
Contrary Research는 벤치맥싱이 AI 개발을 실제 유용성과 괴리시킨다고 지적한다
MoralityBench 업데이트 결과, 16개 LLM 중 3개만 5회 실행에서 90% 이상 일치도를 보였다.
Vals가 모델 라우터 독립 평가를 도입해 오라클 라우터가 단일 모델 대비 성능 14점 향상 및 비용 40% 절감을 입증했다.
평가 중 실제 웹사이트에 접근한 4가지 사례 공개 및 라이브 인터넷 접근 차단 조치 시행
마이크로소프트 리서치, AI가 멀티턴 대화에서 성능이 저하되는 현상을 분석하고 개선 방안을 제시했다.
OpenAI가 전 세계 22개국 80명 이상의 전문가와 협력하여 AI의 정신건강 대화 대응 능력을 평가하는 오픈 벤치마크 'MentalHealthBench'를 공개했다.
OpenAI가 SWE-bench Verified 보고 중단을 권고한 가운데, 기존 데이터 정화 방식의 한계를 지적하고 평가자 주도 검증 방식을 제안했다.
ElevenLabs가 대화형 AI의 품질, 경험, 운영 지표를 정의하고 A/B 테스트 및 시뮬레이션을 통한 평가 방법을 제시했다.
Vercel이 Harbor 평가 프레임워크를 지원해 Firecracker microVM에서 병렬 벤치마크 실행이 가능해졌다.
대만 전통 중국어 환경의 VLM 성능을 평가하는 VisTW 벤치마크가 공개되고 Twinkle Eval이 이를 지원한다.
APL의 AI-Eval 프로파일은 평가 조건이 다른 점수에 적용 가능한 bridge가 없으면 'incomparable'을 반환하며, 점수의 정확성이나 실제 실행의 절차 준수는 보장하지 않는다.
구글 딥마인드가 암호화 기술을 활용해 모델과 평가 데이터를 서로 볼 수 없게 하는 세계 최초 이중맹검 AI 평가를 도입했다.
Magic Hour CEO가 Fable 5와 Sol 5.6의 영상 제작 창의력을 비교 평가했다.
Airbnb는 GenAI 제품의 신뢰성을 확보하기 위해 평가(Evaluation)를 단순한 사후 검증이 아닌 핵심 엔지니어링 프로세스로 다루는 'Eval-driven development'를 도입했다.
Perplexity가 리서치 에이전트의 대규모 데이터 수집 능력을 평가하는 오픈 벤치마크 WANDR를 공개했다.
1,008개의 SVG를 생성해 분석한 결과, AI 연구소들이 유명한 '자전거 탄 펠리컨' 벤치마크에 과적합한 증거는 발견되지 않았다.
멀티 에이전트 파이프라인 'Gauntlet'이 컴퓨터 아키텍처 논문 분석에서 인간 전문가보다 높은 비판적 엄밀성을 보였다.