AI Briefing#llm-serving
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-serving와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
SGLang이 Transformers 백엔드를 지원하여 모든 Transformers 호환 모델을 고성능으로 추론할 수 있게 되었다.
vLLM의 chunked-prefill 전략에서 발생하는 긴 프롬프트의 큐 차단 문제를 분석하고 최적화 방안을 제시한다.
Hugging Face가 서버리스 추론 서비스인 Featherless AI를 새로운 추론 제공업체로 지원한다.
Fireworks.ai가 Hugging Face Hub의 서버리스 추론 제공자로 추가되어 주요 LLM을 지원한다.
Hugging Face의 TGI가 하나의 베이스 모델로 여러 LoRA 어댑터를 동적으로 서빙하는 기능을 출시했다.
Hugging Face가 OpenAI API와 호환되는 Messages API를 출시하여 오픈 LLM으로의 전환을 지원한다.
Hugging Face의 LLM 서빙 솔루션인 TGI가 AWS Inferentia2 및 Amazon SageMaker에서 정식 지원된다.
HuggingFace가 BLOOM 모델의 추론 서버를 최적화하여 지연 시간을 5배, 처리량을 50배 개선한 기술적 과정을 설명한다.
DeepSpeed와 Accelerate를 활용해 176B 파라미터 BLOOM 모델의 추론 성능을 극대화하는 방법과 벤치마크를 비교한다.
Hugging Face가 라이브러리 최적화와 하드웨어 맞춤형 컴파일을 통해 Transformer 추론 속도를 100배 향상시킨 기술적 접근법을 공개했다.
Encoder·Decoder·LLM 분리와 llm-d, USP 최적화로 처리량을 2.1배 높였다.