AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
하이브리드 모델 서빙에서 프리필 TPM을 최대 3.14배 높이고 p90 TTFT를 최대 88% 줄였다.
신규 Arm NEON 커널이 llama.cpp 프롬프트 처리 속도를 최대 6.5배 높였다
KittenML이 코딩 에이전트를 활용해 로컬 하드웨어 최적 추론 경로를 찾는 inferencekit를 출시했다.
Edge0-145B가 노트북에서 80+ tokens/s 속도로 구동되며 클라우드 모델 대비 우위를 보였다
KQuant가 Qwen 모델 KL 발산을 최대 3.7배 줄이고 M5 Pro 추론 속도를 높였다
NVIDIA VFlash가 로봇 및 자율주행 궤적 예측 시 지연 시간을 최대 5.1배 단축했다.
선형 계획법이 GPT-6 Astra의 가중치 편집을 최적화해 변경량을 8배 줄였다
vLLM v0.33.0 스케줄러 수정으로 DeepSeek DSpark 처리량이 2.47배 향상했다
DSpine이 Qwen3-8B 스펙ulative 디코딩 처리량을 23.3% 높였다
RunAnywhere가 NKI 엔진을 오픈소스 공개해 디코드 지연을 24.2ms로 단축했다
NVIDIA가 Cosmos NIM을 통해 H200 GPU에서 2~3배 빠른 추론 속도를 달성했다
ik_llama.cpp가 Ternary Bonsai 2의 네이티브 CUDA 오프로드를 지원했다
AWS와 Booking.com이 Medusa와 증류로 LLM 비용을 3분의 1로 줄이고 속도를 20배 높였다
libstrix가 Strix Halo에서 vLLM 프리필 속도를 최대 31배 높였다
Decagon AutoResearch가 추론 최적화를 자동화해 최대 2.5배 처리량 향상을 달성했다
llama.cpp CUDA 최적화로 DGX Spark에서 최대 17.2% 속도 향상이 확인됐다.