AI Briefing#speculative-decoding
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp의 새로운 CUDA 커널이 추측적 디코딩 속도를 최대 34.9%까지 높였다.
RidgeFill이 학습 없이 Qwen3.8-27B 프리필 속도를 1.25~1.31배 높였다
vLLM v0.33.0 스케줄러 수정으로 DeepSeek DSpark 처리량이 2.47배 향상했다
DSpine이 Qwen3-8B 스펙ulative 디코딩 처리량을 23.3% 높였다
D3D는 검증 중 후속 블록을 드래프팅해 의존성을 제거하고 DFlash보다 높은 평균 속도 향상을 달성했다
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
NVIDIA가 DGX Spark에서 DSpark 적용 시 Nemotron 3.5 Lightning 생성 속도가 최대 1.73배 빨라진다고 밝혔다.
Soft-MTP가 노이즈 그라디언트를 제거해 퍼플렉시티를 낮추고 스펙ulative decoding을 가속했다
Apple Silicon 전용 Rust 추론 엔진 uzu가 M5 Max에서 142.3 tok/s 속도를 기록했다.
Decagon AutoResearch가 추론 최적화를 자동화해 최대 2.5배 처리량 향상을 달성했다
NVIDIA가 4GB VRAM에서 동작하는 대화형 에이전트용 소형 모델 Nemotron 3.5 Bolt E4B를 공개했다.
inclusionAI가 5층 DFlash 백본 기반 추측적 디코딩 모델을 출시했다
Specter가 양자화 기반 추측적 오프로딩으로 MoE 추론 속도를 1.50배 높였다
DeepSeek이 DeepInfer를 오픈소스로 공개하며 하루 155조 토큰 처리량을 달성했다
추측 디코딩은 연산량을 늘려 유휴 컴퓨트를 활용함으로써 LLM 추론을 가속화한다.
WFD 프레임워크가 초안과 검증을 동시 배치해 Huginn-3.5B에서 4.81배 속도 향상을 달성했다.