AI Briefing#llama-cpp
#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp의 llama-server가 reasoning_effort 파라미터를 chat template으로 전달하지 못하는 버그가 보고되었습니다.
llama.cpp 서버가 Podman이나 Docker를 활용해 샌드박스 컨테이너 내에서 도구를 실행하는 기능을 지원합니다.
llama.cpp가 F16C 인트린직을 활용한 벡터화로 프롬프트 처리 속도를 최대 31% 향상시켰습니다.
llama.cpp의 포크 버전인 BeeLlama.cpp가 KV 캐시 양자화 효율을 높인 v0.4.1을 공개했다.
Llama.cpp가 MCP(Model Context Protocol)를 지원하여 로컬 모델 기반의 에이전트 환경을 구축할 수 있게 되었습니다.
llama.cpp의 포크 버전인 CachyLLama가 SSD를 활용한 KV 캐싱으로 프롬프트 처리 속도를 혁신적으로 개선했다.
pi 0.81.0 버전에서 llama.cpp(llama-server router) 통합 지원이 추가되었습니다.
llama.cpp가 ROCm 환경에서 프롬프트 처리 속도를 15% 높이고 특정 양자화 버그를 해결하는 업데이트를 준비 중입니다.
저사양 CPU 환경에서 KV 캐시 재사용과 n-gram 아카이브를 통해 추론 효율을 극대화한 LLM 서버입니다.
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
문서 구조 추출에 특화된 4B 규모의 Granite Vision 4.1 모델이 llama.cpp에 추가되었습니다.
llama.cpp에서 Qwen 모델의 MTP 성능을 개선하기 위한 post-norm hidden state 적용 PR이 제출되었습니다.
mistral.rs v0.8.2가 출시되어 H100 및 B200 등 최신 GPU에서 llama.cpp보다 최대 2.8배 빠른 CUDA 추론 성능을 제공한다.
MTP 헤드를 통합하여 별도의 드래프트 모델 없이 self-speculative decoding이 가능한 Qwen3.6 GGUF 모델이 출시되었다.