AI Briefing#speculative-decoding
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#speculative-decoding와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Liquid AI가 VLM 모델 LFM2.5-VL-3B의 추측 디코딩을 위한 초안 모델 LFM2.5-VL-3B-DSpark를 공개했으며, Apple M5 Max에서 디코딩 속도를 최대 3.13배까지 향상시켰다.
llama.cpp 최적화로 초안 생성 최대 140배 빨라지고 메모리 2.6배 감소했다.
Liquid AI가 LFM2.5-VL-3B 추론을 최대 3.13배 가속하는 280M 파라미터 드래프트 모델을 공개했다.
NVFP4 정밀도와 대화형/배치 풀 분리를 통해 Gemma 4의 SLO 준수 처리량을 극대화하는 vLLM 최적화 전략을 소개한다.
vLLM이 AMD MI300X/MI355X GPU에서 Native MTP, EAGLE-3, DFlash 등 5가지 추측 디코딩 방식의 처리량과 최적 설정을 비교한 상세 벤치마크 결과를 공개했다.
GLM-OCR 모델에 Diffusion 초안 생성과 AR 검증 방식을 결합해 디코딩 구간 속도를 3.85배 높이는 기법을 공개했다.
LLM 추론의 레이턴시와 처리량 트레이드오프를 관리하고 양자화, 추측 디코딩 등으로 효율적 프론티어를 확장하는 기술을 소개한다.
vLLM v0.28.0은 Kimi-K3와 DeepSeek V4 모델에 대한 대규모 성능 최적화 및 추론 기능을 추가했다.
LFM2.5 모델에 DSpark 스펙ulative decoding 적용으로 GPU 및 온디바이스 추론 속도 최대 3.2배 향상.
ARBITRAGE가 모델 우위를 예측해 수학 추론 latency를 최대 2배 줄였다.
DiffusionGemma가 Gemma 4를 이산 확산 모델로 개조해 H100에서 1,500TPS를 달성했다.
FuriosaAI가 LLM 추론·학습·서빙 효율화를 다룬 ICML 2026 논문 4편을 발표했다.
VIDRAFT 팀이 A10G에서 품질을 유지하며 Gemma 추론 속도를 510.58 TPS까지 끌어올렸다.
llama.cpp가 MTP 비활성화 상태에서도 특정 아키텍처의 MTP 텐서를 기본 로드하도록 변경되어 VRAM 사용량이 증가합니다.
llama.cpp 오픈소스 프로젝트에 DSpark 기반의 추측 디코딩(Speculative Decoding) 기능이 추가되었습니다.
Baseten이 지연 시간을 최소화하여 성능을 극대화한 GLM-5.2 전용 초고속 API를 출시했다.
ACL 2024에서 발표된 연구를 중심으로 LLM의 추론 효율성과 자원 사용량을 최적화하는 최신 기술들을 살펴본다.
llama.cpp에 Tencent의 299B MoE 모델인 Hy3 지원 및 MTP 기반 투사적 디코딩이 추가되었습니다.
저사양 CPU 환경에서 KV 캐시 재사용과 n-gram 아카이브를 통해 추론 효율을 극대화한 LLM 서버입니다.
하드웨어의 연산 및 메모리 대역폭 상태에 따라 투기적 디코딩의 토큰 수를 동적으로 조절하여 LLM 추론 효율을 극대화한다.
입력 데이터에 따라 최적의 블록 크기를 예측하여 Diffusion 기반 Speculative Decoding의 효율을 극대화하는 기술을 제안함.