AI Briefing#agent-evaluation
#agent-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#agent-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Google이 MKA 벤치마크를 출시했고 Gemini 4 Carbon이 2위를 차지했다
LangChain이 인간 검토를 통한 에이전트 품질 평가 및 데이터셋 구축 원칙을 제시했다.
Scale AI AgentEnv가 Vercel Sandbox 지원으로 평가 실행 환경을 분리했다.
Seahaven은 에이전트 훈련용 격리된 상태 유지 환경을 제공하는 오픈소스 프레임워크다.
Taste-Bench 벤치마크에서 GPT-5.6 Sol이 장기 작업 의사결정 정확도 59.7%를 기록했다.
Surge AI가 장기 금융 추론 능력을 평가하는 DAYJOB: Finance 벤치마크를 공개했다.
LangChain이 TypeSafe AI의 Jev를 검증한 결과, 분류 작업 기준 LLM Judge 대비 최대 200배 빠르고 비용은 400배 낮으며 일관성이 높음을 확인했으나, 실험은 초기 단계로 추가 검증이 필요하다.
Sierra가 AI 모델의 에이전트 구축 능력을 평가하는 Hyper-τ-bench를 공개했으며, 인간 엔지니어 협업 시 성능이 82.2%까지 향상됨을 확인했다.
장시간 동작하는 AI 에이전트의 과정 행동을 문서화해 평가 기준으로 삼는 개방형 포맷이 공개됐다.
LangChain이 코드 문서화 에이전트 OpenWiki의 성능을 측정하기 위해 WikiBench 벤치마크를 구축했다.
LangSmith Engine이 에이전트 이슈 탐지 성능을 2배 이상, 수정 성능을 25% 개선했다.
LangChain이 저장소 구조와 실행 트레이스를 분석해 에이전트 평가(eval)를 자동 생성하는 'Eval Engineering Skill'을 출시했다.
Emergence AI가 장기 자율성 평가용 다중 에이전트 시뮬레이션 플랫폼을 발표했다.
Anthropic이 Managed Agents에 dreaming, outcomes, 멀티에이전트 오케스트레이션을 추가했다.