AI Briefing#model-serving
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Thinking Machines가 오디오·비디오·텍스트를 실시간으로 다루는 연구 프리뷰를 공개했다.
OpenAI API 호환 및 프로세스 격리 구조로 실시간 대화와 고품질 TTS를 동시에 지원한다.
vLLM Recipes가 하드웨어별 서빙 설정과 명령어 생성을 지원하도록 개편됐다.
Hugging Face의 TGI가 vLLM, TensorRT-LLM 등 다양한 추론 엔진을 지원하는 멀티 백엔드 아키텍처를 도입한다.
Hugging Face가 자체 인프라에서 오픈 모델을 쉽게 배포할 수 있는 추론 서비스 HUGS를 출시했다.
HuggingFace가 베이스 모델을 유지하며 LoRA 어댑터만 동적으로 교체하여 추론 속도를 300% 향상시켰다.
Hugging Face가 PRO 구독자에게 고성능 모델 전용 API와 높은 사용량 제한을 제공하는 'Inference for PRO'를 출시했다.
Rocket Money가 Hugging Face Inference API를 통해 4,000개 이상의 클래스를 가진 BERT 모델을 프로덕션에 성공적으로 배포했다.
BentoML을 사용하여 멀티 스테이지 구조를 가진 DeepFloyd IF 모델을 효율적으로 배포하는 방법을 설명한다.
Hugging Face의 Inference Endpoints와 커스텀 핸들러를 사용하여 MusicGen 모델을 배포하는 방법을 안내한다.
Hugging Face가 TGI 기반의 Amazon SageMaker 전용 LLM 추론 컨테이너를 출시했다.
Hugging Face가 내부 모델 서빙을 AWS ECS에서 Inference Endpoints로 전환하며 얻은 성능 및 비용 이점을 공개했다.
카카오페이가 모델 서빙의 정합성과 성능을 개선하기 위해 프레임워크를 비교하고 최적화하는 과정을 공유했다.
Hugging Face가 기업용 보안 및 협업 도구를 통합한 Enterprise Hub를 출시했다.
Hugging Face의 TensorFlow 비전 모델을 TF Serving으로 배포하는 방법을 설명한다.