AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Scale AI가 공개한 HSS 벤치마크에서 인간은 93.1%의 정확도를 기록한 반면 최고 모델 GPT-6-astra는 53.6%에 그쳤다.
150M 파라미터 이하 SLM 106개 벤치마크를 담은 Open SLM Evaluations 데이터셋이 공개됐다.
TII가 아랍어 WER 20.92%를 달성한 16억 파라미터 음성 인식 모델 Falcon-ASR을 공개했다.
2,078개 문서 테스트 결과 PyMuPDF가 종합 점수 53.6점, 페이지당 중간 처리 시간 0.47초로 Docling보다 우수했다.
10월 중 Apache 2.0 가중치 공개 예정이며, 추론 연산 효율을 강조하는 희소 MoE 구조다.
Epoch AI가 AI의 알고리즘 혁신 능력을 평가하는 InnovationEval 벤치마크를 공개했다.
AFP-GIC 프레임워크가 DC-VIC 대비 지연 시간 18.1%와 파라미터 20.5%를 줄이며 5개 비트레이트를 지원한다.
EmpirioLabs가 1M 컨텍스트를 지원하는 오픈 웨이트 의사결정 모델 Aplomb 1을 출시했다.
GPT-6 Astra, Ironclad 작업서 55.0% 달성해 GPT-5.6 Sol 대비 정확도 32% 향상
SWE-Race 벤치마크 결과, GLM-5.3 Flash가 85%로 GPT-5.6 Luna의 81%를 앞섰다.
TII가 공개한 Falcon-Emirati-7B가 Alyah 벤치마크 84.83%로 방언 특화 성능을 입증했다.
Memoria 1.0.0이 저사양 하드웨어에서 LongMemEval-S Recall@1 89.8%를 달성하며 출시됐다.
GitHub가 1억 390만 건의 PR 분석 기반 AI 코드 리뷰 벤치마크 ReviewBench를 공개했다.
공인 리더보드 44개 중 검증된 점수는 0건이며, 중국 조직이 등록의 55.2%를 차지했다.
GPT-6 Astra는 표준 퍼즐 30개를 모두 해결했으나, 15x15 그리드에서는 최고 노력 수준에서도 해결률이 20%에 그쳤다.
총 35B 파라미터 중 3B만 활성화하는 MoE 구조로 AA Index 24.1점 기록
새 벤치마크 Telegraph Test가 LLM이 평문과 동등하거나 더 높은 정확도로 케이블스 레코드를 읽으며 토큰을 25~49% 절감함을 입증했다.
마이크로소프트와 허깅페이스가 백엔드 상태 검증 기반 에이전트 벤치마크 ThinkingBox를 공개했다.
Meta 등 연구진이 실제 버그를 능동적으로 찾는 SWE-sweep 벤치마크를 MIT 라이선스로 공개했다.
Jev 스타일 모델이 LLM 판정기나 전통 분류기를 일관되게 능가하지 못한다는 벤치마크 결과가 나왔다.
Perplexity가 Qwen3.8-27B 기반의 pplx-decider-v1-27b를 공개했으며 11개 벤치마크에서 85.71%의 정확도를 달성했다.