AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Terminal-Bench 점수가 31.2에서 42.3으로 상승하며 에이전트 및 시각 벤치마크 성능이 향상됐다.
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
hpc8a는 hpc6a를 대체 가능하나, hpc7g 10노드 구성이 총비용과 실행 시간 모두에서 가장 우수했다.
GPT-6 Astra가 SlopCodeBench에서 16.3%의 최고 엄격 통과율을 기록하며 1위를 차지했다.
Sabi-Noema 모델은 TB2.1에서 토큰 생성을 50% 줄이고 DeepSWE에서 GPT 6 Luna-medium을 능가했다.
Sentient Foundation이 LLM 지문의 내구성과 성능 보존을 평가하는 오픈 벤치마크를 공개했다.
Design Creativity Bench 결과 GPT-6 Astra의 창의성 점수는 65.5점으로 인간 기준 92.3점보다 낮았다.
구글이 Vals Index 1위를 차지한 Gemini 4 Argon을 출시하고 에이전트 코딩 성능을 35% 개선했다.
Z.ai가 법률 특화 모델 GLM-Legal을 공개해 주요 벤치마크에서 프런티어 모델과 대등한 성능을 입증했다.
MSR이 공개한 StudentSim은 GPT-5.4 등을 제치고 체스 등 시뮬레이션에서 튜터 정확도 90.5%를 달성했다.
BrokenML 벤치마크 결과, 설정 파일과 코드만 접근 가능할 때 오픈과 클로즈드 모델 간 성능 격차가 가장 컸다.
입력 1M 토큰당 $0.042로 분류 및 라우팅 작업에 특화된 경량 결정 모델 제공
vLLM이 공개한 Decision 3.0 모델이 Jev Decision Index 텍스트와 비전 부문에서 1위를 차지했다.
17개 LLM 평가 결과 환각 발생률 33~60%로 나타나며 검증 계층 부재가 주요 원인으로 지목됐다.
LMGame 팀의 하이브리드 AI 스웜이 일반 사건에서 96% 성공률로 단일 모델의 57%를 크게 앞섰다.
H2O.ai가 JevBench에서 Jev 1.13을 제치고 오픈 모델 1위를 기록한 H2O-Lightning-4B를 공개했다.
Aplomb 1이 Typed Decisions 벤치마크에서 KL 0.123, Brier 0.065로 1위를 기록했다.
텐센트, OmniDocBench v1.6서 96.96점 기록한 5B 올모달 파싱 모델 Youtu-Parsing-Omni 공개
마이크로소프트가 공개한 ThinkingBox 벤치마크 결과, 높은 pass@20 점수가 일관된 작업 완성을 보장하지 않는 것으로 나타났다.
생성 없이 확률 분포를 반환해 지연을 줄이고 보정 지표 KL 0.204, Brier 0.097을 기록했습니다.
0.8B Jeff 모델이 매 턴 사고 여부를 판단해 Qwen3.8-27B의 작업 시간을 32% 줄였다.