AI Briefing#speculative-decoding
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DeepSeek가 LLM의 응답 속도를 획기적으로 개선하는 추측적 디코딩 프레임워크 DSpark를 MIT 라이선스로 공개했다.
DeepSeek가 추측적 디코딩(Speculative Decoding)을 위한 모델 학습 및 평가 도구인 DeepSpec을 공개했다.
DSpark가 병렬 드래프터의 수락률 급감 문제를 해결하기 위해 준자기회귀 생성과 신뢰도 스케줄링을 결합한 추측 디코딩 프레임워크를 공개했다.
병렬 트리 드래프팅 기술을 통해 LLM 추론 속도를 비약적으로 높인 JetSpec 연구가 공개되었습니다.
코딩 에이전트의 작업 특성에 맞춰 Speculative Decoding과 커널 최적화 등을 통해 추론 속도를 혁신적으로 높이는 방법을 다룬다.
Shard 프로젝트가 WAN 환경에서 Speculative Decoding 등을 활용해 대규모 모델의 분산 추론 속도를 획기적으로 개선했다.
삼성 R&D 연구소에서 온디바이스 실행이 가능한 고효율 픽셀 정밀 테이블 구조 인식 기술인 PIX-TAB을 제안했다.
Z Lab과 Modal이 협력하여 개발한 DFlash 기술이 기존 MTP 방식보다 월등한 LLM 추론 성능을 달성했다.
샤오미가 FP4 양자화와 DFlash 기술을 적용해 초당 1,000토큰을 생성하는 MiMo-V2.5-Pro-UltraSpeed를 공개했다.
Gemma 4 QAT 모델용 MTP 헤드 공개와 llama.cpp 병렬 실행 오류 수정 소식이다.
Speculative Decoding의 효율을 높이기 위해 모델링과 초안 작성을 분리하는 Domino 기술이 발표되었습니다.
llama.cpp가 Intel Arc GPU를 위한 multi-column MMVQ 포팅을 통해 speculative decoding 속도를 약 45% 개선했습니다.
예측 모델을 활용해 LLM의 KV 캐시를 최대 4배까지 무손실로 압축하는 Speculative KV coding 기술을 소개한다.
MTP 헤드를 통합하여 별도의 드래프트 모델 없이 self-speculative decoding이 가능한 Qwen3.6 GGUF 모델이 출시되었다.
Qwen3.6-35B-A3B 모델에 MTP를 적용하여 llama-server에서 약 1.49배의 디코딩 속도 향상을 달성했다.
llama.cpp에 MTP speculative decoding이 추가돼 Qwen3.6 27B 속도가 최대 2.44배 빨라졌다.
Orthrus는 frozen backbone을 유지한 채 Qwen3-8B 추론을 최대 7.8배 가속한다고 밝혔다.
llama.cpp가 MTP와 멀티모달 기능의 충돌을 해결하고 통합을 지원하기 위한 업데이트를 진행 중이다.