AI Briefing#llama-cpp
#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llama-cpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp가 Aleph Alpha의 78B 파라미터 MoE 모델 Kolibri-1 지원을 추가했다.
텐센트가 Sherry 알고리즘으로 Hy4 Preview 770B 모델을 214 GiB로 압축했다.
llama.cpp의 GDN chunked kernel 도입으로 Qwen 추론 속도가 최대 20.6% 향상됐다.
Quartermaster 1.7이 /v1/systemone 엔드포인트로 llama.cpp 결정 모델 지원을 추가했다.
Janas-LLM이 32GB RAM 노트북에서 48.4GB MoE 모델 생성 속도 24 tok/s를 달성했다.
NVIDIA RTX Spark 노트북이 10월 16일 출시되어 로컬 AI 에이전트 생태계와 DLSS 5를 제공한다.
Jeff v1.3이 Qwen 3.8-27B 코딩 작업을 47% 가속화하면서도 정확도를 유지했다.
Magnitude가 하드웨어 맞춤 컴파일로 llama.cpp 대비 최대 2배 빠른 오픈소스 추론 엔진을 출시했다.
Qwen3.8-Flash-Next 기반 오픈 웨이트 파인튜닝 모델 Victoria와 Maple이 공개됐다.
Hugging Face Transformers가 Apple Silicon Mac에서 llama.cpp ggml Metal 커널을 활용해 GGUF 모델을 역양자화 없이 압축 상태로 직접 추론하는 기능을 공개했다.
Hugging Face가 Transformers 라이브러리에 GGUF 형식 네이티브 지원을 추가해 로컬 양자화 모델의 디버깅과 유연한 사용을 가능하게 했다.
llama.cpp 호환 GGUF 파일을 대상으로 VRAM 제약 환경에서 표준 양자화보다 높은 정확도를 제공하는 오픈소스 동적 양자화 도구 'Dynamic Quantiser'가 공개됐다.
Hugging Face Transformers가 llama.cpp의 GGUF 포맷을 직접 실행할 수 있게 되어 Apple Silicon에서 로컬 추론이 간편해졌다.
llama.cpp, vLLM, SGLang 등 주요 오픈소스 추론 스택의 기능과 적합 워크로드를 비교 분석했다.
NVIDIA가 IFA 2026에서 로컬 추론 최적화 도구와 RTX Spark PC를 공개하며 로컬 AI 생태계를 확장했다.
llama.cpp가 NVIDIA의 하이브리드 MoE 구조를 채택한 Nemotron-3-Puzzle-75B-A9B 모델 실행을 지원한다.
Vellium v1.1.0이 로컬 STT/TTS와 llama.cpp 자동 감지를 지원하는 업데이트를 공개했다.
llama.cpp의 Metal 및 n-gram SSD 오프로드 최적화 브랜치가 공개되어 Apple Silicon에서 Qwen-3.8-Flash-Next 추론 성능을 개선했다.
llama-cpp-turboquant에 ConvRot 양자화 방식이 추가되어 Q6 양자화 모델의 품질이 Q8 수준에 근접했다.
SyzygyResearch가 7GB 용량의 Mach-1-Additive-35B 모델과 전용 llama.cpp 포크를 공개했다.
DFlash 개발자가 Qwen 3.8 27B와 Muse Glimmer를 지원하는 DFlash 2 버전을 공개하고 llama.cpp PR을 제출했다.
1-bit, 2-bit 및 Ternary 모델 등 저비트 양자화 모델의 최신 업데이트와 최적화된 추론 엔진 현황을 정리함.
llama.cpp가 기존 빌드 번호 방식 대신 시맨틱 버저닝을 도입하며 v0.1.0 버전을 출시했다.