AI Briefing#terminal-bench
#terminal-bench와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#terminal-bench와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
FireFlash가 30배 낮은 비용으로 Fable 5와 동등한 성능을 달성했다.
LangSmith 팀이 Jev 활용 시 비용을 $28.17에서 $0.34로 줄이는 에이전트 평가 전략을 공개했다.
Replit Agent이 사이드킥 아키텍처를 11~16포인트 차이로 제치고 Astra 대비 파레토 효율성을 입증했다.
Vercel이 Harbor 평가 프레임워크를 지원해 Firecracker microVM에서 병렬 벤치마크 실행이 가능해졌다.
Cline이 오픈 웨이트 모델 지원과 병렬 에이전트 관리를 위한 데스크톱 앱의 초기 버전을 공개했다.
Artificial Analysis가 Terminal-Bench 4.0과 AutomationBench-AA를 도입한 Intelligence Index v4.3을 공개했다.
LLM-as-a-Verifier v0.2.0이 공개되어 Terminal-Bench 2.1 등 에이전트 벤치마크에서 SOTA 성능을 달성했으며, 캐시 최적화를 통해 미캐시 입력 토큰을 약 3.4배 감소시켰다.
Terminal Bench 4.0이 공개되었으며, GLM-5.3은 오차 범위 내에서 Fable 5와 동일한 성능을 보였다.
DeepSeek V4 Flash가 AI Gateway에서 새 가중치로 기본 실행된다.
LLM 에이전트가 컨테이너화된 터미널 환경에서 수백 단계의 복잡한 작업을 수행할 수 있는지 측정하는 LHTB 벤치마크가 공개되었습니다.
Cline이 모든 제품군을 구동하는 오픈소스 agent runtime SDK를 공개했다.