AI Briefing#model-serving
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
MiniMax가 영상과 스테레오 음향을 함께 생성하는 33B H3 가중치를 공개했지만 한국은 라이선스 제외 지역이다.
WASTE가 64GB MacBook Pro에서 2.78T Kimi K3를 디스크 스트리밍으로 실행했다.
NVIDIA ModelExpress는 GPU 간 직접 데이터 전송을 통해 모델 가중치 로딩 속도를 획기적으로 단축한다.
Stripe가 AI 모델 라우팅 스타트업인 OpenRouter 인수를 검토하며 AI 인프라 확장 가능성을 시사했다.
NVIDIA가 GPU-to-GPU RDMA를 활용해 모델 로딩 속도를 획기적으로 높인 ModelExpress를 공개했다.
Petals 프로젝트가 BitTorrent 방식으로 소비자 GPU에서 Llama 3.1 405B 등 초대형 LLM을 분산 실행할 수 있게 한다.
pi 0.81.0 버전에서 llama.cpp(llama-server router) 통합 지원이 추가되었습니다.
Weave Router가 프롬프트를 50ms 내 최적 모델로 라우팅해 비용 40-70%를 절감하는 단일 엔드포인트 프록시를 공개했다.
vLLM의 Transformers 모델링 백엔드가 최적화되어 기존 커스텀 구현체와 대등하거나 더 빠른 성능을 제공합니다.
Cerebrium이 gVisor 기반 런타임에서 CPU 및 GPU 메모리 스냅샷 기술을 통해 AI 모델의 콜드 스타트 시간을 80% 이상 단축했다고 발표했다.
vLLM Semantic Router가 모델 API 계층에서 여러 모델을 협업시키는 마이크로 에이전트 런타임을 선보였다.
DeepLearning.AI에서 vLLM을 활용한 효율적인 LLM 추론 최적화 과정을 공개했다.
AI 에이전트의 핵심 지표인 단일 요청 디코딩 속도를 최적화하여 표준 GPU에서 초당 3,000 토큰의 속도를 달성하는 기술을 설명한다.
Forge는 로컬 LLM 도구 호출 안정성을 높이는 오픈소스 가드레일 계층이다.