AI Briefing#tgi
#tgi와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#tgi와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
HuggingFace의 LLM 서빙 솔루션 TGI가 Intel Gaudi 하드웨어를 네이티브로 지원합니다.
Hugging Face의 TGI가 vLLM, TensorRT-LLM 등 다양한 추론 엔진을 지원하는 멀티 백엔드 아키텍처를 도입한다.
Hugging Face의 TGI가 하나의 베이스 모델로 여러 LoRA 어댑터를 동적으로 서빙하는 기능을 출시했다.
Hugging Face가 OpenAI API와 호환되는 Messages API를 출시하여 오픈 LLM으로의 전환을 지원한다.
Hugging Face의 LLM 서빙 솔루션인 TGI가 AWS Inferentia2 및 Amazon SageMaker에서 정식 지원된다.
Hugging Face가 Amazon SageMaker에서 Llama 2를 최적으로 배포하기 위한 60개 이상의 구성에 대한 벤치마크 결과를 공개했다.
Hugging Face가 TGI 기반의 Amazon SageMaker 전용 LLM 추론 컨테이너를 출시했다.