AI Briefing#llm-serving
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
하이브리드 모델 서빙에서 프리필 TPM을 최대 3.14배 높이고 p90 TTFT를 최대 88% 줄였다.
RunAnywhere가 NKI 엔진을 오픈소스 공개해 디코드 지연을 24.2ms로 단축했다
DeepSeek이 V4.1-Flash용 추론 프레임워크 DeepInfer의 오프라인 추론 코드를 공개했다.
DeepSeek이 NVIDIA SM100과 Huawei Ascend 950을 지원하는 DeepInfer 추론 프레임워크를 오픈소스로 공개했다.
사용자 프로그램(Inferlet)이 KV 캐시와 생성 루프를 직접 제어해 ReACT 등 에이전트 워크로드의 지연을 최대 15% 줄이는 오픈소스 LLM 서빙 시스템 'Pie' 공개.
Flama 2.0이 OpenAI, Anthropic, Ollama 프로토콜을 동시에 지원하는 LLM 아키텍처 논문을 공개했다.
Qwen3.8 27B의 3비트 가중치로 R9700에서 캐시 용량을 늘려 에이전트 속도를 높였다.
Prime이 프런티어 오픈 모델 서빙을 위한 Prime Inference를 출시했다.
Kaggle 무료 TPU v5e-8에서 320B MoE 모델 GLM-5.3-Flash를 서빙하는 오픈소스 저장소 공개
Amazon EKS에서 vLLM으로 Gemma 4 서빙 시 Run:ai 스트리머와 캐시 최적화로 콜드 스타트를 428초에서 226초로 단축했다.
Cohere가 North Mini Code 모델용 Megakernel serving 엔진을 공개해 H100 단일 BF16 환경에서 vLLM 대비 최대 1.41배의 end-to-end 추론 속도 향상을 달성했다.
vLLM이 AMD MI300X/MI355X GPU에서 Native MTP, EAGLE-3, DFlash 등 5가지 추측 디코딩 방식의 처리량과 최적 설정을 비교한 상세 벤치마크 결과를 공개했다.
자체 CUDA 커널을 적용한 Rust/C++ 추론 엔진 Paddock가 MIT/Apache-2.0 라이선스로 오픈소스화됐다.
Cerebras가 공개 엔드포인트에서 Qwen 3.8 27B 모델을 초당 약 1,500토큰의 속도로 제공하기 시작했다.
FreeToken이 게이밍 PC 수준 하드웨어에서 프론티어급 MoE 모델을 효율적으로 서빙하는 시스템을 제안했다.
FreeToken이 소비자 하드웨어에서 프런티어 MoE 모델을 인터랙티브 속도로 실행할 수 있는 엣지 네이티브 서빙 엔진을 공개했다.
LMSys가 H20 GPU에서 DeepSeek-V4-Pro 서빙 성능을 극대화하는 최적화 전략을 공개했다.
llama.cpp에 출력 복잡도에 따라 MTP 깊이를 동적으로 조절하는 adaptive MTP 기능이 제안되었다.
PyTorch Foundation이 PyTorch, vLLM 등 6개 프로젝트의 최신 성과와 로드맵을 공개했다.
Netflix가 hosted API 대신 자체 LLM 서빙 인프라를 구축해 모델 배포부터 추론까지 전체 스택을 직접 운영한다.
llama.cpp의 sm-tensor 사용 시 발생하는 불필요한 정규식 재컴파일 문제를 해결하여 디코드 성능을 개선했습니다.
MoE 모델의 전문가 지역성을 고려한 ELDR 라우팅을 통해 디코드 지연시간을 최대 13.9% 단축함.