AI Briefing#ggml
#ggml와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ggml와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp v1.0.0이 안정적 API와 150개 이상 모델 아키텍처를 지원하며 출시했다.
NVIDIA Kimodo 모션 생성 모델을 PyTorch 없이 C++/GGML로 구현한 kimodo.cpp가 공개되어 로컬 추론 환경이 간소화된다.
llama.cpp가 F16C 인트린직을 활용한 벡터화로 프롬프트 처리 속도를 최대 31% 향상시켰습니다.
audio.cpp 0.4가 Higgs Audio v3 TTS와 Fish Audio S2 Pro 등을 추가하며 35개 모델 패밀리를 지원하고 Q8 GGUF로 속도·VRAM을 개선했다.
llama.cpp의 ggml 라이브러리가 Ternary Bonsai 모델 지원을 위한 CPU용 Q2_0 양자화를 추가했습니다.
C++/GGML 기반 프레임워크인 audio.cpp가 음악 및 SFX 생성, 음원 분리 기능을 추가하며 대규모 업데이트를 실시했다.
ggml 기반의 C++ 오디오 추론 프레임워크 audio.cpp가 출시되어 Python 대비 최대 5배 빠른 속도를 제공한다.
llama.cpp가 멀티 GPU 환경에서 --sm tensor 사용 시 KV 캐시 양자화가 작동하지 않던 문제를 해결했습니다.
NVIDIA의 Parakeet STT 모델을 Python 없이 C++/ggml 환경에서 실행할 수 있도록 포팅하여 성능과 효율성을 대폭 개선했다.
Microsoft VibeVoice를 Python 없이 C++로 구동할 수 있는 ggml 기반 추론 엔진 vibevoice.cpp가 공개되었다.
Transformer 추론에 최적화된 저수준 C/C++ 라이브러리인 ggml의 특징과 핵심 개념을 소개합니다.