#benchmark

#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Qwen3.6-27B SimpleQA 95.7%

Qwen3.6-27B가 단일 RTX 3090 로컬 환경에서 SimpleQA 95.7%를 기록했다.

·2026.05.02 20시

AI 모델 10종 Bitcoin 예측 벤치마크

30일간의 Bitcoin 예측 벤치마크에서 Perplexity가 1위를 차지했다.

·2026.05.02 20시

MiniMax M2.7 성능·전력 비교

MiniMax M2.7 AWQ-4bit를 2x Spark와 2x RTX 6000 96GB에서 성능과 에너지 효율을 비교했다.

·2026.05.02 18시

AI 오정렬 진단 도구 공개

32개 테스트로 AI 오정렬을 점검하는 오픈소스 도구가 공개됐다.

·2026.05.02 04시

구조화 워크플로, DES 1위

Ouroboros가 Claude Code 환경의 실제 DES 벤치마크에서 plan mode와 superpowers를 앞섰다.

·2026.05.02 01시

한국 개발자의 오픈소스 Ouroboros, Claude Plan Mode를 제치고 모델링·시뮬레이션 벤치마크 1위 기록

오픈소스 Ouroboros가 Claude Plan Mode를 제치고 모델링·시뮬레이션 벤치마크 1위를 기록했다.

·1·2026.05.02 01시

Qwen3.6-27B UD-Q5_K_XL 벤치마크

RTX 5090에서 Qwen3.6-27B UD-Q5_K_XL 벤치마크를 19회, 93.9k 토큰으로 진행했다.

·2·2026.05.01 12시

Qwen vs Gemma Pac-Man 비교

MacBook Pro M5 Max 테스트에서 Gemma 4 31B가 Pac-Man 생성 품질에서 앞섰다.

·2026.05.01 10시

Gemma4가 로컬 벤치마크 1위

18GB M3 Pro 벤치에서 Gemma4:e4b가 72%로 1위, Qwen3.5:9b는 68%였다.

·2026.05.01 04시

20B 모델, 메모리 독성에도 정답 유지

LoCoMo에서 로컬 20B 모델은 poisoned memory 1,100개 주입 후에도 약 4점만 하락했다.

·2026.05.01 00시

4070S 12GB 로컬 LLM 속도

RTX 4070S 12GB에서 Qwen3.6·Gemma 4 로컬 추론 속도를 공개했다.

·2026.05.01 00시

Qwen KV cache 벤치마크

M5 Max에서 Qwen 3.6-35B-A3B KV cache 양자화의 품질과 장문 속도를 재측정했다.

·1·2026.04.30 05시

Claude Code 리팩터링 벤치마크

MCP code health guidance를 붙인 Claude Code가 리팩터링 개선 폭을 2~5배 키웠다.

·2026.04.30 03시

4장 5060 Ti vLLM 벤치

4장 5060 Ti에서 vLLM pp 1444.9 tok/s, tg 47.4 tok/s를 기록했다.

·1·2026.04.30 01시

DharmaOCR, 벤치마크 공개

DharmaOCR가 3B·7B 특화 SLM과 비용·성능 벤치마크를 공개했다.

·2026.04.30 01시

다국어 Speech LLM 챌린지

2026 MLC-SLM 챌린지가 다국어 Speech LLM 과제 등록을 열고 2만 달러 상금을 내걸었다.

·2·2026.04.29 11시

Anthropic CVP 6회 평가 공개

Anthropic CVP에서 4개 Claude 모델의 6회 평가를 공개했다.

·2026.04.29 10시

로컬 LLM·하네스 벤치마크

로컬 LLM 17종과 에이전트 하네스 5종의 벤치마크 결과를 공개했다.

·1·2026.04.29 01시

GLM 4.7 Flash 벤치마크

GLM 4.7 Flash에 적용한 4가지 abliteration 기법의 성능과 가중치를 비교했다.

·1·2026.04.28 22시

Qwen3.6 35B 속도 테스트

단일 H100에서 Qwen3.6 35B가 250~400tok/s를 기록했다.

·2·2026.04.28 11시

Ollama Cloud 벤치마크

36회 테스트에서 v4-flash가 무중단, v4-pro는 가장 느렸다.

·1·2026.04.28 07시

Claude effort별 거절 양상

Opus 4.7은 effort를 올려도 거절 양상은 거의 같고 답변만 더 길어졌다.

·1·2026.04.28 05시

Opus 4.7 effort 비교

Opus 4.7은 effort tier가 올라가도 거절 성향은 유지됐고 응답 깊이만 늘었다.

·2026.04.28 05시

2x 5060 Ti Qwen3.6 벤치마크

2x 5060 Ti 16GB에서 Qwen3.6 27B와 35B-A3B를 여러 엔진으로 비교했다.

·1·2026.04.28 04시