AI Briefing#llm-deployment
#llm-deployment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-deployment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Meta가 11월 8일부터 일반 사용자에게 Muse Wonder 기반 전문 모델을 배포했다.
zml/llmd v20261106.0이 142MB Metal과 1.96GB CUDA 추론 이미지를 제공했다
Cohere는 요청 형태와 활용률이 공유 및 전용 추론 비용 효율성을 결정한다고 밝혔다.
1-bit, 2-bit 및 Ternary 모델 등 저비트 양자화 모델의 최신 업데이트와 최적화된 추론 엔진 현황을 정리함.
사티아 나델라 Microsoft CEO가 기업이 AI 모델을 사용할 때 발생하는 지적 재산권 유출 위험을 경고했습니다.
NVIDIA NIM이 Hugging Face의 10만 개 이상의 LLM을 신속하고 안정적으로 배포할 수 있도록 지원한다.
Dell과 Hugging Face가 온프레미스 AI 구축을 위한 Dell Enterprise Hub의 신규 버전을 공개했다.
Hugging Face가 Hyperbolic, Nebius AI Studio, Novita를 새로운 서버리스 추론 제공업체로 추가했다.
Hugging Face가 자체 인프라에서 오픈 모델을 쉽게 배포할 수 있는 추론 서비스 HUGS를 출시했다.
Optimum-Intel과 OpenVINO GenAI를 활용해 Intel 하드웨어에서 LLM을 최적화하고 배포하는 방법을 다룬다.
Hugging Face 가이드를 통해 Llama 3.1 405B를 Google Cloud Vertex AI에 배포하는 방법을 안내한다.
Hugging Face 모델을 Google Cloud의 Vertex AI 및 GKE로 간편하게 배포할 수 있는 통합 기능이 출시되었다.
Hugging Face의 관리형 SaaS 솔루션인 Inference Endpoints를 활용한 LLM 배포 방법과 주요 기능을 소개한다.