AI Briefing#inference-optimization
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Microsoft Research가 차세대 잠재 상태를 예측하여 추론과 계획 능력을 높인 NextLat를 발표했다.
비디오의 시간적 중복성을 활용해 토큰을 동적으로 할당함으로써 추론 속도를 획기적으로 높인 연구입니다.
LLM의 텍스트 생성 과정을 거치지 않고 내부 Hidden State를 직접 추출하여 고성능 분류기로 활용하는 방법론을 소개한다.
llama.cpp의 ggml-webgpu 구현에서 k-quants 모델의 행렬 곱셈(matmul) 최적화를 통해 추론 속도를 대폭 향상시켰습니다.
실시간 라우팅 패턴을 학습해 MoE 전문가를 GPU에 효율적으로 상주시키는 Luce Spark가 공개되었다.
llama.cpp에서 KV 캐시 복사를 방지하여 Gemma-4 모델의 추론 성능을 개선하는 업데이트가 반영되었다.
MoE 모델을 엣지 디바이스에서 구동할 수 있도록 최적화하는 InstinctRazor 기술을 공개했다.
Transformer의 QKV 프로젝션을 공유하여 KV 캐시를 획기적으로 줄이는 연구 결과를 발표했다.
28가지 LLM 신뢰성 기법을 통합하여 추론 비용을 최대 56% 절감하는 오픈 소스 라이브러리 agentcodec이 공개되었습니다.
Huawei가 vLLM의 용량과 처리량을 동시에 개선하는 새로운 KV-cache 양자화 백엔드 KVarN을 공개했다.
llama.cpp에서 Qwen 모델의 MTP 성능을 개선하기 위한 post-norm hidden state 적용 PR이 제출되었습니다.
로컬 기기에서 고품질 이미지 생성을 지원하는 1비트 및 ternary 방식의 소형 Bonsai Image 4B 모델이 공개됨.
llama.cpp가 Flash Attention 사용 시 KQ 마스크를 f16으로 처리하여 VRAM 사용량을 줄이는 업데이트를 반영했다.
Qwen3.6-35B-A3B 모델에 MTP를 적용하여 llama-server에서 약 1.49배의 디코딩 속도 향상을 달성했다.
OpenAI Triton을 활용해 NVIDIA와 AMD 모두 지원하는 고성능 MoE 추론 커널을 개발했다.
Triton으로 구현된 Fused MoE dispatch 커널이 Megablocks 대비 높은 효율과 AMD 호환성을 제공한다.
Transformer의 문맥 확장 한계를 극복하기 위해 최근 정보를 fast weights로 압축하는 '수면' 메커니즘을 제안한다.
llama.cpp에 CUDA 기반 FWHT가 추가되어 KV-cache 양자화 시 추론 속도가 향상되었습니다.
llama.cpp에서 멀티 GPU 사용 시 발생하는 Split Mode Tensor의 VRAM 고갈 및 충돌 문제를 해결하는 패치가 준비 중이다.
수백 번의 짧은 학습만으로 Full Attention LLM을 고효율 Sparse 모델로 변환하는 RTPurbo 기술이 공개되었다.
MLX의 한계를 보완하여 Apple Silicon에서 W8A8 활성화 양자화를 지원하는 SDK 'Cider'가 공개되었다.