#llama-cpp

#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

RTX6k Qwen3.5 벤치마크 갱신

llama.cpp 최신 빌드로 RTX6k Qwen3.5 벤치마크가 크게 개선됐다.

·2026.05.03 08시

2080 SUPER서 Qwen3.5 DFlash 구동

RTX 2080 SUPER 8GB에서 Qwen3.5-35B-A3B의 DFlash 구동이 확인됐다.

·2026.05.01 20시

IK_LLAMA의 Qwen MTP 지원

IK_LLAMA가 Qwen3.5 MTP 지원을 추가했고, MTP 보존 GGUF가 필요하다.

·2026.04.29 23시

llama.cpp NVFP4 비교

llama.cpp b8967의 native NVFP4가 프리필 속도를 최대 68% 높였지만 생성 속도는 거의 같았다.

·1·2026.04.29 21시

MiMo-V2.5 GGUF 공개

XiaomiMiMo의 MiMo-V2.5를 텍스트 전용 GGUF로 양자화해 공개했다.

·1·2026.04.29 14시

Qwen3.6-27B IQ4_XS 회귀

llama.cpp 회귀로 Qwen3.6-27B IQ4_XS 용량이 14.7GB에서 15.1GB로 늘었다.

·2026.04.28 21시

iPhone별 Gemma 4 E2B 설정 보고

iOS의 llama.cpp에서 Gemma 4 E2B 멀티모달 OOM을 해결했다.

·2026.04.28 21시

6900 XT ROCm·Vulkan 비교

6900 XT에서 ROCm 6.4.2와 Vulkan을 비교한 llama.cpp 벤치마크를 공개했다.

·2026.04.28 18시

16GB M4, Qwen 35B SSD 병목

16GB Mac M4에서 Qwen 35B-A3B 상시 구동은 SSD가 먼저 병목이 됐다.

·2·2026.04.28 18시

R9700 Ngram-Mod 속도 테스트

R9700에서 Qwen3.6 27B ngram-mod 적용 시 변동성은 있지만 속도 향상을 보였다.

·1·2026.04.27 13시

Android용 통합 오프라인 AI 앱 Box 공개

LiteRT, llama.cpp 등을 통합하여 오프라인으로 작동하는 보안 강화형 Android AI 앱 'Box'가 공개되었습니다.

·2026.04.24 18시

780M iGPU서 Qwen3.6 35B

Radeon 780M iGPU에서 Qwen3.6 35B-A3B가 초당 282토큰 프롬프트 처리 속도를 보였다.

·1·2026.04.24 17시

Qwen 3.6 27B 로컬 20 TPS

m720q i7·64GB RAM·T1000 8GB 조합에서 Qwen 3.6 27B가 20 TPS를 기록했다.

·2·2026.04.24 16시

Reka Edge 2603 지원

llama.cpp에 Reka Edge 2603 멀티모달 지원과 템플릿 수정이 추가됐다.

·1·2026.04.23 23시

로컬 LLM VSCode

llama.cpp와 VSCode 연동으로 Gemma-4-26B-A4B-IT-Q8_0를 돌린 설정과 성능이 공개됐다.

·2026.04.23 20시

Qwen3.6 64K 실측

RTX 5070 12GB에서 Qwen3.6-35B-A3B가 64K context로 구동됐다.

·2026.04.23 14시

Qwen3.6-27B 무검열 공개

Qwen3.6-27B의 무검열 Aggressive 버전과 K_P 양자화가 공개됐다.

·2026.04.23 03시

Jetson에서 구동한 Gemma 4 VLA

Jetson Orin Nano Super에서 Gemma 4 VLA를 로컬로 구동하는 절차를 공개했다.

·1·2026.04.23 00시

Qwen35B 상위권

little-coder와 Qwen3.6-35B-A3B 조합이 Aider Polyglot 78.7%를 기록했다.

·2026.04.22 20시

TurboQuant의 Qwen3.6 수정

TurboQuant fork의 Qwen3.6 speculative decoding 버그를 수정했다.

·1·2026.04.22 08시

q1_0 속도폭발

q1_0/q8_0 dot 경로를 최적화해 x86에서 최대 67배대 처리량 향상을 보고했다.

·1·2026.04.21 20시

Mistral Small 4 수정

Unsloth의 Mistral Small 4 GGUF가 chat template 수정과 함께 갱신됐다.

·1·2026.04.20 02시

ARM 로컬 추론 속도

Snapdragon X2 Elite Extreme 탑재 Zenbook A16의 llama.cpp 토큰 속도 측정치.

·3·2026.04.19 05시

MoE 54% 역전

RTX 5070 Ti에서 --n-cpu-moe로 Qwen3.6-35B-A3B 속도를 54% 끌어올림.

·2026.04.18 16시