AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp가 NVIDIA FP4 양자화와 Multi-Token Prediction(MTP) 기능을 지원한다.
NVIDIA가 기존 AR 모델 대비 6배 빠른 추론 속도를 제공하는 Diffusion 언어 모델 패밀리를 공개했다.
BeeLlama v0.2.0 업데이트를 통해 Qwen 3.6 및 Gemma 4 모델의 추론 속도가 최대 4.9배 향상되었다.
BeeLlama v0.2.0 업데이트를 통해 DFlash 최적화로 Qwen 및 Gemma 모델의 추론 속도가 대폭 향상되었습니다.
llama.cpp 최신 빌드에서 MTP 모델 사용 시 발생하는 VRAM 누수 문제가 해결되었습니다.
로컬 LLM의 도구 호출 신뢰성을 높이는 가드레일 프레임워크 Forge가 공개됐다.
DwarfStar 4를 통해 DeepSeek-V4-Flash 모델의 내부 활성화를 조작하는 LLM 조향 실험이 가능해졌다.
llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.
Unsloth 양자화 모델에 MTP 레이어를 결합하여 Qwen3.6의 추론 성능을 최적화하는 방법을 안내한다.
vLLM 플러그인을 통해 GLiNER, ColBERT 등 encoder 모델을 효율적으로 서빙할 수 있는 vLLM Factory가 오픈소스로 공개되었다.
llama.cpp의 MTP 지원을 통해 Qwen 3.6 27B 모델의 추론 속도를 2.5배 높일 수 있습니다.
Google이 Gemma 4의 MTP 기능을 공개 배포판에서 제외했다가 커뮤니티의 발견 이후 보조 모델 형태로 지원을 시작했다.
OpenAI API 호환 및 프로세스 격리 구조로 실시간 대화와 고품질 TTS를 동시에 지원한다.
KV-캐시 압축 기술인 DMS를 최적화하여 vLLM보다 메모리는 적게, 속도는 더 빠르게 구현한 FastDMS가 공개되었습니다.
MoE 모델용 혼합 정밀도 양자화 전략인 APEX가 30종 이상의 모델로 확대되고 새로운 초압축 티어를 출시했다.