AI Briefing#benchmarking
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmarking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OnePlus 12의 Snapdragon Hexagon NPU에서 llama.cpp가 모델에 따라 4.5~12.5 tok/s를 기록했다.
llama.cpp b8967의 native NVFP4가 프리필 속도를 최대 68% 높였지만 생성 속도는 거의 같았다.
Claude Code에서 Opus 4.5·4.6·4.7과 Sonnet 4.6의 effort level별 비용과 토큰을 비교했다.
llama.cpp ngram-mod speculative decoding으로 Qwen-3.6-27B 속도가 136.75 t/s까지 상승.
2 x RTX Pro 6000 환경에서 Qwen3.6-27B가 성능은 가장 좋았고, Qwen3.6-35B-A3B는 더 높은 tps를 보였다.