#llamacpp와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
32GB VRAM에서도 llama.cpp --fit로 Qwen3.6 Q8을 256k 컨텍스트에 57 t/s로 구동했다.
Open WebUI가 로컬 실행과 원격 연결을 지원하는 데스크톱 앱으로 나왔다.
24GB VRAM 환경에서 GGUF 양자화 모델들의 MMLU 점수를 비교했다.
MiniMax M2.7 GGUF 일부에서 perplexity NaN 원인을 조사하고 수정했다.
llama.cpp용 GUI·TUI 런처 Catapult가 모든 llama-server 옵션을 지원하며 공개됐다.
AI Briefing