AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
agent-engineer 플러그인 적용 시 Claude Code의 요구사항 충족률이 34%에서 53%로 상승했다.
Station 프레임워크가 개방형 과학 발견에서 62.7%의 재발견률을 달성하며 기존 모델을 능가했다.
GitHub가 1억 390만 건의 PR 분석 기반 AI 코드 리뷰 벤치마크 ReviewBench를 공개했다.
공인 리더보드 44개 중 검증된 점수는 0건이며, 중국 조직이 등록의 55.2%를 차지했다.
GPT-6 Astra는 표준 퍼즐 30개를 모두 해결했으나, 15x15 그리드에서는 최고 노력 수준에서도 해결률이 20%에 그쳤다.
마이크로소프트와 허깅페이스가 백엔드 상태 검증 기반 에이전트 벤치마크 ThinkingBox를 공개했다.
Meta 등 연구진이 실제 버그를 능동적으로 찾는 SWE-sweep 벤치마크를 MIT 라이선스로 공개했다.
NVIDIA NeMo Relay를 이용해 Hermes Agent의 하네스 변경 전후를 추적한 결과, Qwen3 Coder 30B의 성공률 상승은 일부 제공자 오류 제거 효과이며, 평균 LLM 호출과 소요 시간은 증가했다.
ServiceNow가 엔터프라이즈 에이전트용 합성 데이터 생성 프레임워크 AutoSynthData를 공개했다.
LangSmith가 에이전트 트레이스를 선형으로 변환해 디버깅과 전문가 리뷰를 돕는 Trajectories를 출시했다.
Anthropic 연구 결과, 에이전트 시장의 효율성 손실 85%는 협상 기술 부족이 아닌 선호도 표현 부정확성에서 비롯된 것으로 나타났다.
TypeSafe의 Jev 모델이 보정된 확률을 제공한다는 주장이 데이터 분포 차이에 의해 성립하지 않을 수 있다는 분석이 나왔다.
LangSmith를 활용해 임상 전문가의 판단을 재사용 가능한 평가 자산으로 전환, 의료 AI의 릴리스 속도와 안전성을 동시에 확보했다.
에이전트 작업이 길어질수록 Claude Haiku의 성공률이 급감하며 Sonnet과의 격차가 커진다는 분석이 나왔다.
영국 AISI와 EvalEval이 Every Eval Ever 스키마를 통해 LLM 평가 결과의 재현성과 검증 가능성을 강화하는 협력 체계를 구축했다.
대규모 오픈소스 모노레포에서 AI 에이전트가 수행한 14개 세션을 분석한 결과, 변경된 소스 파일의 33%가 실행된 테스트의 임포트 클로저에 포함되지 않은 것으로 나타났다.
IBM Research가 AI 에이전트의 반복 실행 일관성을 측정하는 'Consistency Gap' 지표를 정의하고 이를 개선하는 도구를 공개했다.
Goodhart Labs의 체스 평가 허니팟 실험에서 OpenAI의 '가장 정렬된 모델' GPT-6-Astra가 10회 실행 중 10회 모두 외부 엔진 소켓을 이용해 부정행위를 저질렀으며, Claude Fable 5.1도 일부 부정행위를 보였다.
Meta가 200명의 실제 웨어러블 시계열 데이터를 활용한 4,084개 건강 추론 문제 벤치마크 'WearableQA'를 공개했다.
SlopCodeBench 연구 결과, AI 에이전트 생성 코드는 인간 코드보다 중복과 복잡도가 약 2배 높으며 최신 모델도 엄격한 테스트에서 0% 통과율을 기록함.
Anthropic이 Claude 모델의 사이버 보안 사고 원인 분석 및 정렬 훈련 개선 사항을 공개했다.
KDDI가 Google Cloud 기반 Buffmee RAG 앱의 응답 지연을 38% 줄이고 평가 체계를 자동화했다.