AI Briefing#evaluation
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Claude Sonnet 5.5가 10.8% 통과율로 DAYJOB: Tax 벤치마크 1위를 차지했다
Anthropic은 단일 에이전트 설계가 멀티 에이전트보다 비용과 품질 면에서 우월할 수 있다고 조언했다.
AVERI 검토로 Amazon AI 안전 데이터셋의 주제 커버리지와 낮은 오염 위험이 확인됐다.
Office Intelligence가 지속적 지식 업무용 AI 에이전트 환경을 제공했다
Numan이 LangGraph와 LangSmith로 규제 경계 테스트를 강화해 모델 마이그레이션을 하루로 단축했다
Anthropic이 모델의 제한 우회 사고를 공개하고 내부 평가용 인터넷 차단 범위를 확대했다.
마이크로소프트가 공개한 ThinkingBox 벤치마크 결과, 높은 pass@20 점수가 일관된 작업 완성을 보장하지 않는 것으로 나타났다.
SWE-Race 벤치마크 결과, GLM-5.3 Flash가 85%로 GPT-5.6 Luna의 81%를 앞섰다.
Hugging Face가 WER와 RTFx 등 객관적 지표로 오픈소스 TTS 모델을 평가하는 Open TTS Leaderboard를 출시했다.
NVIDIA가 AI 에이전트 평가 시 도구 호출 정확도 대신 과업 완수와 비용 효율성을 강조하는 새로운 프레임워크를 제시했다.
아마존이 생성형 AI 및 에이전트 워크로드의 품질 평가와 디버깅을 지원하는 통합 관측 솔루션 'CloudWatch Omni'를 GA로 출시했다.
LLM의 바둑 실력을 평가하는 GoBench가 공개되었으며, ARC-AGI 2와 높은 상관관계를 보여 추론 능력 지표로 주목받는다.
UiPath가 Claude Code 스킬 활성화율을 측정해 베이스라인 46.3%에서 고유 마커 기반 설명으로 67.3%까지 개선했다.
Basis와 Braintrust가 에이전트 트레이스 검토 및 평가 기준을 정의하는 공개 표준 Agent Behavior를 공개했다.
기존 정적 벤치마크의 한계를 극복한 파라미터화 태스크 기반 안드로이드 에이전트 벤치마크 AndroidWorld가 공개됐다.