#benchmark

#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

TurboQuant 정확도·성능 평가

vLLM은 FP8 KV-cache를 기본값으로, TurboQuant 고비트는 실익이 작다고 정리했다.

·1·2026.05.15 05시

상호작용 모델 - 인간-AI 협업을 위한 확장 가능한 접근법

Thinking Machines Lab이 인간-AI 협업용 실시간 상호작용 모델을 공개했다.

·1·2026.05.13 07시

HF, physics-intern 공개

Hugging Face가 이론물리 연구용 multi-agent framework 'physics-intern'을 공개했다.

·1·2026.05.13 02시

TabPFN-3, 100만 행 지원

TabPFN-3가 공개돼 단일 H100에서 최대 100만 행 추론을 지원한다.

·2026.05.12 23시

SocialReasoning-Bench: AI 에이전트가 사용자에게 가장 유리하게 행동하는지 측정

Microsoft Research가 AI 에이전트의 사용자 대리 능력을 측정하는 벤치마크를 공개했다.

·2·2026.05.12 02시

Interfaze: 대규모 환경에서 높은 정확도를 내는 새로운 모델 아키텍처

Interfaze가 OCR·STT·구조화 출력용 새 모델 아키텍처와 API를 공개했다.

·1·2026.05.12 01시

Baidu ERNIE 5.1, AI 검색 4위 기록

Baidu의 ERNIE 5.1이 Search Arena 리더보드에서 Gemini 3.1 Pro를 제치고 4위를 기록했다.

·1·2026.05.10 18시

LLM은 위임할 때 문서를 훼손한다

DELEGATE-52 벤치마크에서 프런티어 모델도 긴 위임 편집에서 문서 충실도가 크게 떨어졌다.

·1·2026.05.10 12시

Harvey의 Legal Agent Benchmark 공개

Harvey가 법률 에이전트용 오픈소스 벤치마크 LAB을 공개했다.

·1·2026.05.07 09시

ProgramBench (5분 읽기)

ProgramBench는 바이너리와 문서만으로 프로그램을 재구현하게 하는 벤치마크다.

·2026.05.07 09시

기업 내부 RAG 벤치마크 공개

기업 내부 문서 50만 건을 모사한 EnterpriseRAG-Bench가 공개됐다.

·2026.05.06 21시

SpecMD: MoE expert 사전 적재와 캐싱에 대한 종합 연구

SpecMD가 MoE expert 캐시 정책을 벤치마크해 Least-Stale를 제안했다.

·2026.05.06 09시

Open ASR 리더보드에 비공개 데이터 추가

Hugging Face의 Open ASR Leaderboard가 벤치맥싱 방지용 private 데이터셋을 추가했다.

·2026.05.06 09시

컴퓨터 사용(Computer use) 방식이 구조화된 API보다 45배 더 비싸다

AI 에이전트가 UI를 직접 조작하는 비전 방식은 구조화된 API 방식보다 비용과 신뢰도 면에서 훨씬 비효율적이다.

·2026.05.06 06시

Apple Silicon 기반 LLM 추론 성능 분석

Apple Silicon 칩셋별 LLM 추론 성능, 전력 효율 및 MoE 모델 구동 성능에 대한 벤치마크 분석 결과가 공개되었다.

·1·2026.05.05 22시

Apple Silicon LLM 추론 성능 분석 결과

Apple M4/M5 및 A18 Pro 칩의 LLM 추론 성능과 전력 효율성 분석 결과가 공개되었습니다.

·2026.05.05 22시

DeepSeek, GPT-5.2급 성능 달성

DeepSeek V4 Pro가 에이전트 벤치마크에서 GPT-5.2급 성능을 내면서도 비용은 17배 저렴한 것으로 나타났다.

·2026.05.05 15시

3x3090서 Mistral 128B 실측

3x3090(72GB VRAM)에서 Mistral Medium 3.5 128B Q3_K_M를 로컬로 돌려 9.67t/s를 실측했다.

·2·2026.05.04 09시

Strix Halo 128B 벤치

Strix Halo 128GB 시스템이 Mistral Medium 128B를 초당 1.57토큰으로 구동했다.

·2026.05.04 09시

Strix Halo서 Mistral 벤치

AMD Strix Halo에서 Mistral Medium 3.5는 48k 프롬프트 처리에 약 2시간이 걸렸다.

·2·2026.05.04 03시

함수호출 백엔드 벤치마크

function calling 하네스가 백엔드 생성에서 프런티어-로컬 격차를 좁혔다.

·2·2026.05.03 22시

AutoBe, 월간 Local LLM 백엔드 벤치마크

AutoBe가 GLM·Qwen·DeepSeek 백엔드 생성 월간 벤치마크를 공개했다.

·2026.05.03 21시

RTX6k Qwen3.5 벤치마크 갱신

llama.cpp 최신 빌드로 RTX6k Qwen3.5 벤치마크가 크게 개선됐다.

·2026.05.03 08시

FOSS vs SOTA 장문 벤치마크

Artificial Analysis의 Long Context 벤치마크로 FOSS와 SOTA를 비교했다.

·1·2026.05.03 01시