#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
RTX 5060 Ti 16GB에서 Qwen3.6-35B-A3B가 prebuilt 대비 약 10% 빨라졌다.
RX 9070과 RTX 5070 Ti를 묶어 Qwen 35B Q4를 100tps 이상으로 구동했다.
듀얼 RTX 5060 Ti에서 Qwen 3.6-35B-A3B가 90K 컨텍스트 21.7 tok/s를 기록했다.
Qwen3.6-35B-A3B GGUF 벤치마크에서 Unsloth 양자화가 KLD 대비 용량 효율이 가장 좋다고 주장한다.
Qwen3.6-35B-A3B-UD-Q2_K_XL이 16GB VRAM 노트북에서 58회 툴콜을 98.3% 성공률로 처리했다.
Qwen3.6-35B-A3B 무검열 Aggressive 버전과 K_P GGUF quants가 공개됐다.
Strix Halo 128GB에서 Vulkan과 ROCm을 비교하니 모델별 승부가 갈렸다.
RTX 2000 Ada 16GB에서 Qwen 3.6 35B를 프롬프트 400 t/s, 생성 24 t/s로 구동한 사례.
turbo3로 12GB VRAM 3080에서 Qwen3.6 35B A3B를 260k ctx로 약 40 tok/s 달성.
llama.cpp의 ggml에 graph_reused를 넣어 CUDA의 O(n) 변경 체크를 줄였다.
로컬 LLM이 Claude Code의 승인 습관을 학습해 tool call을 자동 허용한다.
RTX 5080·64GB Windows 11에서 Llama.cpp가 LM Studio보다 약 2배 빨랐다.
RTX 4060 Ti 16GB에서 Qwen3.5-35B를 64k로 40~60 tok/s 구동한 튜닝 기록.
290MB짜리 1-bit Bonsai 1.7B가 브라우저 WebGPU에서 로컬 구동된다.
영어 함수 설명을 22MB 신경 프로그램으로 컴파일해 llama.cpp에서 로컬 실행한다.
llama.cpp의 동적 expert cache가 Qwen3.5-122B-A10B 토큰 생성 속도를 27% 끌어올렸다.
Gemma 4의 툴 호출·대화 준수성이 개선돼 Jinja 템플릿 업데이트가 필요하다.
에이전트가 코드 전에 논문과 포크를 읽자, llama.cpp 최적화가 크게 개선됐다.
Gemma 4가 시스템 프롬프트·도구 호출에서 약하다는 실사용 보고와 대응책이다.
NVIDIA가 Gemma 4를 RTX·DGX Spark·Jetson용 로컬 실행에 최적화했다.
AI Briefing