AI Briefing#inference-endpoints
#inference-endpoints와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-endpoints와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face 인프라를 활용해 Papers with Code의 하이브리드 검색 시스템을 구축한 아키텍처와 설계 결정을 공개했다.
Hugging Face가 vLLM을 활용해 Whisper 전사 성능을 최대 8배 향상시킨 Inference Endpoints 옵션을 출시했다.
Hugging Face가 Inference Endpoints의 모니터링 및 디버깅을 위한 실시간 분석 대시보드 업데이트를 발표했다.
고해상도 이미지/비디오 생성 시 VAE 디코더의 메모리 부담을 줄이기 위해 디코딩을 원격으로 처리하는 기능을 지원한다.
Hugging Face가 복합 파이프라인인 Speech-to-Speech(S2S)를 Inference Endpoints에 배포하는 방법을 공개했다.
Hugging Face의 Inference Endpoints와 Spaces에서 Google Cloud TPU v5e를 사용할 수 있게 되었다.
Hugging Face Inference Endpoints에서 Whisper와 Pyannote를 결합하여 화자 분리 및 추측적 디코딩을 지원하는 커스텀 핸들러 구현법을 소개한다.
Hugging Face가 OpenAI API와 호환되는 Messages API를 출시하여 오픈 LLM으로의 전환을 지원한다.
Hugging Face Inference Endpoints를 통해 고성능 임베딩 모델을 배포하는 방법을 안내한다.
Hugging Face의 Inference Endpoints와 커스텀 핸들러를 사용하여 MusicGen 모델을 배포하는 방법을 안내한다.
Hugging Face의 관리형 SaaS 솔루션인 Inference Endpoints를 활용한 LLM 배포 방법과 주요 기능을 소개한다.
Snorkel AI가 Hugging Face의 Inference Endpoint를 활용해 기업용 파운데이션 모델 개발 환경을 확장한다.
Hugging Face가 내부 모델 서빙을 AWS ECS에서 Inference Endpoints로 전환하며 얻은 성능 및 비용 이점을 공개했다.
HuggingFace가 Inference API 유료 티어를 종료하고 Inference Endpoints 등 새로운 요금 체계를 도입한다.
Hugging Face Hub의 모델을 관리형 인프라에 쉽고 안전하게 배포할 수 있는 Inference Endpoints 사용법을 소개한다.