AI Briefing#llm-serving
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
SGLang은 복잡한 LLM 및 Diffusion 워크플로우를 자동화하기 위해 에이전트용 실행 가능한 스킬(SKILL.md)을 도입하고 있다.
Hugging Face Jobs 인프라를 통해 단 한 줄의 명령어로 OpenAI 호환 vLLM 엔드포인트를 구축할 수 있습니다.
Shard 프로젝트가 WAN 환경에서 Speculative Decoding 등을 활용해 대규모 모델의 분산 추론 속도를 획기적으로 개선했다.
Kubernetes 환경에서 LLM 서빙 효율을 높이기 위한 MLXP 최적화 기술 도입 사례를 다룬다.
Apple이 연속 배치(Continuous Batching)와 분산 추론을 지원하는 MLX LM Server를 출시했다.
실시간 라우팅 패턴을 학습해 MoE 전문가를 GPU에 효율적으로 상주시키는 Luce Spark가 공개되었다.
Ollama에서 데이터 유출을 초래하는 메모리 누수와 Windows 업데이트를 통한 원격 코드 실행(RCE) 위험이 발견되었습니다.
KV-캐시 압축 기술인 DMS를 최적화하여 vLLM보다 메모리는 적게, 속도는 더 빠르게 구현한 FastDMS가 공개되었습니다.
SMG는 Python GIL 병목을 없애기 위해 서빙 CPU 작업을 Rust 게이트웨이로 분리했다.
2 x RTX Pro 6000 환경에서 Qwen3.6-27B가 성능은 가장 좋았고, Qwen3.6-35B-A3B는 더 높은 tps를 보였다.
Hybrid-attention 모델의 작은 KVCache를 활용해 prefill을 데이터센터 밖으로 뺀다.
4칩렛 AI SoC가 16Gbps UCIe-Advanced로 풀칩 mesh를 구현한다.
OVHcloud가 Hugging Face의 추론 제공업체로 합류하여 서버리스 AI 모델 서비스를 지원한다.
Hugging Face가 공공 AI 모델 지원을 위해 Public AI를 새로운 추론 프로바이더로 추가했다.