#llama-cpp

#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Harbor, 로컬 LLM 에이전트 실행 지원

Harbor v0.4.19가 출시되어 로컬 추론 백엔드 기반의 에이전트 실행과 웹 검색 도구 자동 주입 기능을 지원한다.

·2026.05.26 23시

Qwen3.6 모델 성능 저하 버그

llama.cpp의 버그로 인해 Qwen3.6-35B-A3B 모델의 KV 캐시가 누락되어 추론 속도가 크게 저하되는 문제가 발생했습니다.

·2·2026.05.24 13시

llama.cpp 네이티브 도구 지원

llama.cpp 서버가 파일 조작 및 셸 명령 실행을 포함한 네이티브 도구 호출 기능을 지원한다.

·1·2026.05.24 07시

llama.cpp NVFP4/MTP 지원

llama.cpp가 NVIDIA FP4 양자화와 Multi-Token Prediction(MTP) 기능을 지원한다.

·2026.05.24 03시

Llama.cpp, PDL 지원 추가

Llama.cpp가 Blackwell GPU용 PDL 지원을 추가해 토큰 생성 속도가 4-10% 향상됨

·1·2026.05.23 06시

llama.cpp, MTP 모델 VRAM 누수 수정

llama.cpp 최신 빌드에서 MTP 모델 사용 시 발생하는 VRAM 누수 문제가 해결되었습니다.

·1·2026.05.22 07시

LM Studio, MTP 지원 추가

LM Studio가 0.4.14 Beta에서 MTP speculative decoding을 지원했다.

·2026.05.20 12시

llama.cpp, MTP 개선 반영

llama.cpp의 MTP 관련 버그 수정과 speculative decoding 개선이 반영됐다.

·2026.05.19 21시

llama.cpp MTP 지원 반영

llama.cpp에 MTP speculative decoding이 추가돼 Qwen3.6 27B 속도가 최대 2.44배 빨라졌다.

·1·2026.05.19 04시

llama.cpp b9200 릴리스

llama.cpp b9200에 MTP 프롬프트 처리 속도 개선 최적화가 들어갔다.

·1·2026.05.18 08시

llama.cpp, MTP 프롬프트 처리 속도 개선

llama.cpp에서 MTP 사용 시 프롬프트 디코딩 성능을 최적화하는 업데이트가 공개되었습니다.

·1·2026.05.18 00시

llama.cpp b9180 MTP 지원

llama.cpp b9180 릴리스에 MTP 지원과 부분 롤백이 추가됐다.

·2026.05.17 02시

llama.cpp, MTP 지원 추가

llama.cpp 프로젝트에 MTP(Multi-Token Prediction) 지원 기능이 공식 병합되었습니다.

·1·2026.05.16 21시

llama.cpp MTP 지원 추가

llama.cpp에 MTP 지원이 추가되고 Qwen3.6 MTP GGUF가 공개됐다.

·1·2026.05.16 21시

Ollama, llama.cpp 직접 지원

Ollama가 GGML 기반에서 llama.cpp 직접 지원으로 전환했다.

·2·2026.05.14 23시

Hugging Face, ml-intern 공개

Hugging Face가 로컬 모델로 ML 라이브러리를 제어하는 에이전트용 도구 ml-intern을 공개했다.

·2·2026.05.14 19시

TextGen 데스크톱 앱 출시

TextGen이 Windows·Linux·macOS용 무설치 데스크톱 앱으로 전환됐다.

·2026.05.13 22시

Hermes, NVIDIA RTX PC·DGX Spark 기반 자기개선 AI 에이전트

Hermes Agent가 NVIDIA RTX PC와 DGX Spark용 자기개선형 로컬 AI 에이전트로 소개됐다.

·2026.05.13 22시

llama.cpp, 추론 모델 '생성 계속하기' 지원

llama.cpp의 server 및 webui에서 추론 모델을 위한 생성 계속하기 기능을 지원한다.

·2026.05.13 19시

llama.cpp, 로컬 모델 평가 기능 추가

llama.cpp에 로컬 환경에서 모델 성능을 측정할 수 있는 llama-eval 기능이 추가되었습니다.

·2026.05.12 21시

MiniCPM-V 4.6 공개

MiniCPM이 MiniCPM-V 4.6을 공개하며 모바일용 1.3B 비전-언어 모델을 선보였다.

·1·2026.05.12 18시

llama.cpp, MTP와 멀티모달 통합 지원 준비

llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.

·1·2026.05.12 07시

llama.cpp, Blackwell 텐서 병렬화 지원

llama.cpp b9095 업데이트로 Blackwell PCIe GPU에서 NCCL 없이 텐서 병렬 처리가 가능해졌다.

·2·2026.05.10 22시

BeeLlama.cpp: llama.cpp 최적화

llama.cpp의 성능을 극대화한 새로운 포크인 BeeLlama.cpp가 공개되었다.

·2026.05.10 01시