AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
오픈 모델은 폐쇄형 모델 대비 공개 벤치마크에서 4~6개월, 비공개 벤치마크에서 8~10개월 정도 성능이 뒤처진 것으로 나타났다.
Microsoft가 텍스트 렌더링과 공간 인지 능력이 향상된 이미지 생성 모델 MAI-Image-2.5를 출시했다.
Artificial Analysis와 IBM이 기업 IT 에이전트 성능을 평가하는 새로운 벤치마크 ITBench-AA를 출시했다.
DeepSWE는 오염 없는 데이터와 높은 복잡도를 갖춘 새로운 코딩 에이전트 벤치마크다.
최신 프론티어 모델들도 복잡한 법률 업무를 완벽히 수행하는 비율은 10% 미만인 것으로 나타났다.
AI가 학습 데이터 컷오프 이후의 과학적 발견을 예측할 수 있는지 테스트하는 벤치마크가 공개되었습니다.
PapersWithCode가 멀티 메트릭 지원, 외부 논문 등록, 논문 계보 표시 기능을 업데이트했다.
Google Antigravity 2.0과 Gemini 3.5 Flash High가 OpenSCAD 기반 건축 3D 모델링 벤치마크에서 최고 품질을 기록했다.
30억 파라미터 전문화 모델이 Claude Opus, GPT-5.4 등 모든 상용 프론티어 API를 OCR 벤치마크에서 능가했다.
실시간 비주얼 스트리밍 어시스턴트 모델의 성능을 평가하기 위한 새로운 프레임워크인 VSAS-Bench가 공개되었다.
Hugging Face 벤치마크 데이터셋에서 모델 크기별로 결과를 필터링할 수 있는 기능이 추가되었습니다.
Cursor가 Composer 2.5를 공개하고 하루 10배 사용량을 제공했다.
llama.cpp에 MTP speculative decoding이 추가돼 Qwen3.6 27B 속도가 최대 2.44배 빨라졌다.
DystopiaBench가 42개 모델과 6가지 디스토피아 시나리오로 확장되어 모델별 윤리적 거부 능력을 평가했다.
새로운 메모리 검색 시스템이 Gemini Flash를 사용하여 LongMemEval 벤치마크에서 SOTA를 기록했다.