AI Briefing#llm-benchmark
#llm-benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Gemini 4 Argon이 Elo 1544로 1위, Kimi K3.1 Pro가 비용 효율성 1위를 기록했다.
Xing4.0-29B-A4B가 SWE-bench Verified 75.00, AIME2026 90.00을 달성했다
GPT-6.1-Sol이 코딩과 수학에서 1위를 차지했고, Kimi-K3.1-Pro가 공식 종합 1위에 올랐다.
정답 라벨 없이 에이전트 하네스를 재귀적으로 개선해 벤치마크 점수를 최대 11.5점 높였다.
UW–Madison의 SlopCodeBench는 진화형 코딩 작업에서 15개 에이전트를 평가해 77%의 실행에서 구조적 열화 증가를 보고했다.
GPT-6 Astra가 혼합 로스터에서 57% 승률을 기록했으나 인간 봇에는 7%에 그쳤다.
MoralityBench 업데이트 결과, 16개 LLM 중 3개만 5회 실행에서 90% 이상 일치도를 보였다.
Composo가 Bosch 식기세척기 시뮬레이션 기반 LLM 에이전트 벤치마크 DishwasherBench를 공개했다.
Claude Opus 5.5가 GPT-6 Astra보다 비싸고 느렸지만 더 매혹적인 시각화 결과물을 냈다.
CivBench에서 GLM-5.3이 Opus-5.5를 앞섰고 Qwen-3.8-27B는 과학 승리를 거뒀다.
BOSSFIGHT 벤치마크에서 GPT-6.1 Sol 등 프론티어 LLM이 규칙 기반 관리자보다 저조한 성과를 보였다.
Taste-Bench 벤치마크에서 GPT-5.6 Sol이 장기 작업 의사결정 정확도 59.7%를 기록했다.
DeepSeek V4.1 Flash가 Enclave.ai의 해킹 벤치마크에서 11개 취약 대상 모두 코드 실행에 성공하며 최고 성능을 입증했다.
Toss가 공개 벤치마크와 실제 서비스 성능의 차이를 분석하고 도메인 특화 평가 기준인 Toss Benchmark를 구축했다.
GPT-5.6 Luna가 GPT-6 Astra 대비 비용은 3.6%에 불과하지만 검증된 버그의 75%를 발견해 높은 비용 효율성을 입증했으나, 정밀도와 보안 취약점 탐지에서는 열세를 보였다.
Real-SWE 벤치마크 평가 결과, AI 코딩 에이전트들이 불명확한 요구사항 처리에서 검증되지 않은 가정과 요구사항 누락으로 인해 낮은 해결률을 보인 것으로 나타났다.
Artificial Analysis가 Terminal-Bench 4.0과 AutomationBench-AA를 도입한 Intelligence Index v4.3을 공개했다.
AI2가 LLM 벤치마크의 개별 질문이 실제로 어떤 능력을 측정하는지 분석하는 다차원 IRT 기반 도구 BenchMIRT를 공개했다.
구글 리서치가 실행 이력을 스킬로 전환하는 WikiSkill을 공개해 9B 모델이 27B 모델보다 높은 성능을 기록했으나, 부적절한 스킬 전이는 성능을 크게 떨어뜨렸다.
Artificial Analysis가 Liquid AI와 협력해 iPhone 17 Pro 기준 8GB 이하 소형 LLM의 지능 및 추론 속도를 측정한 벤치마크를 공개했다.