AI Briefing#speculative-decoding
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp의 MTP 지원을 통해 Qwen 3.6 27B 모델의 추론 속도를 2.5배 높일 수 있습니다.
Google이 Gemma 4의 MTP 기능을 공개 배포판에서 제외했다가 커뮤니티의 발견 이후 보조 모델 형태로 지원을 시작했다.
llama.cpp ngram-mod speculative decoding으로 Qwen-3.6-27B 속도가 136.75 t/s까지 상승.
MoE 모델은 Speculative Decoding 기술을 적용했을 때 더 높은 추론 가속 효과를 얻는다.
FlashDrive는 자율주행 VLA 추론 전 과정을 최적화해 716ms를 159ms로 줄였다.
Cloudflare는 PD disaggregation, prompt caching, KV-cache 최적화로 초거대 LLM 추론을 가속했다.
OpenVINO와 깊이 가지치기를 통해 Intel Core Ultra에서 Qwen3-8B의 추론 속도를 1.4배 향상시켰다.
Intel Labs와 Hugging Face가 개발한 동적 추측 디코딩이 Transformers 라이브러리에 적용되어 생성 속도를 최대 2.7배 높인다.
Hugging Face Inference Endpoints에서 Whisper와 Pyannote를 결합하여 화자 분리 및 추측적 디코딩을 지원하는 커스텀 핸들러 구현법을 소개한다.