AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
코딩 에이전트 연구에서 시맨틱 내비게이션(LSP)보다 grep을 선호하는 현상을 분석하고, 도구 출력 형식이 에이전트 성능에 미치는 영향을 규명했다.
1만 7천 회 실행 분석 결과, Claude Code는 사전 지식을, Codex는 웹 검색을 주로 활용해 서로 다른 도구를 선택하는 경향이 확인됐다.
Perplexity의 수치 기반 답변 인용 중 34.7%가 해당 수치를 포함하지 않거나 접근 불가한 페이지로 연결되는 것으로 확인됐다.
멀티에이전트 시뮬레이션의 문명 발전이 LLM의 인류사 암송인지 실제 창발인지 구분하는 CIVOS 프레임워크와 실험 결과가 공개됐다.
모델이 기억하는 사실의 양을 측정해 크기를 역산하는 IKP 기법을 통해 주요 비공개 프론티어 모델의 파라미터 수를 추정했다.
Stanford 연구진이 실제 과학 워크플로우를 기반으로 한 AI 에이전트 벤치마크 Terminal-Bench-Science 0.1을 공개했다.
Apple이 MCP 사양만으로 수동 작업 없이 AI 에이전트 평가 시나리오를 자동 생성하는 Agent Seer를 공개했다.
LangChain이 에이전트 트레이스를 분석해 반복적 오류를 찾아내는 LangSmith Engine을 공개했다.
Candidly가 LangSmith를 활용해 대화 중 사용자 상태를 실시간으로 추적하고 대응하는 에이전트 하네스를 구축했다.
LangSmith가 Pytest와 Vitest/Jest 통합 기능을 베타 버전으로 출시하여 LLM 평가의 편의성을 높였다.
LangChain이 저비용·고성능으로 AI 에이전트를 평가할 수 있는 LangSmith Tuned Evaluators를 출시했다.
Netlify가 OpenRouter와 파트너십을 맺고 다양한 최신 모델을 지원하는 AI 코딩 에이전트 기능을 확장했다.
JetBrains 평가서 Claude Fable 5의 Python 통과율이 Opus 4.8 대비 16포인트 상승했다.
AI agents가 신소재를 계산적으로 찾지만 합성 경로 설계에는 대부분 실패했다.
MirrorCode가 장기간 자율 코딩 능력을 평가해 Claude Opus 4.7의 성과를 공개했다.
LangSmith 팀이 실제 PR 리뷰를 기반으로 코드 리뷰 에이전트 평가용 ReviewBench를 구축했다.
111개 SWE 문제에서 Fable 5가 64.5%의 최고 해결률을 기록했다.
긴 정책 문서를 준수하며 복잡한 업무를 수행하는 AI 에이전트의 능력을 평가하는 새로운 벤치마크 HANDBOOK.md를 공개했다.