AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Intel Xeon 6 기반 Google Cloud C4 VM이 GPT OSS 추론 시 TCO를 1.7배 개선했다.
RNGD 두 장으로 GPT-OSS 120B를 5.8ms TPOT와 저전력으로 서빙했다.
Arm KleidiAI가 ExecuTorch 0.7에 기본 탑재되어 모바일 및 엣지 기기에서의 LLM 추론 성능을 대폭 향상시킨다.
FuriosaAI가 AI 컴퓨팅 확장을 위해 1억 2,500만 달러 규모의 시리즈 C 투자를 유치했다.
HuggingFace의 LLM 서빙 솔루션 TGI가 Intel Gaudi 하드웨어를 네이티브로 지원합니다.
FuriosaAI가 RNGD 칩과 SDK를 통해 대규모 LLM 요청을 효율적으로 처리하는 고속 배치 추론 성능을 시연했다.
Hugging Face의 TGI가 vLLM, TensorRT-LLM 등 다양한 추론 엔진을 지원하는 멀티 백엔드 아키텍처를 도입한다.
동일 모델의 초기 레이어를 활용해 텍스트 생성 속도와 메모리 효율을 높이는 Self-Speculative Decoding 기술을 소개한다.
AMD의 5세대 EPYC CPU 'Turin'이 공개되었으며, LLM 추론 성능을 이전 세대 대비 최대 2배 향상시켰다.
Intel Labs와 Hugging Face가 개발한 동적 추측 디코딩이 Transformers 라이브러리에 적용되어 생성 속도를 최대 2.7배 높인다.
FuriosaAI가 Hot Chips 2024에서 LLM 추론용 AI 가속기 RNGD를 글로벌 공개했다.
FuriosaAI가 Hot Chips 2024에서 고성능 LLM 추론용 AI 가속기 RNGD를 공개했다.
Transformer 추론에 최적화된 저수준 C/C++ 라이브러리인 ggml의 특징과 핵심 개념을 소개합니다.
KV Cache 양자화를 통해 LLM의 메모리 사용량을 줄이고 더 긴 컨텍스트 생성을 지원한다.
Hugging Face가 NVIDIA 플랫폼에서 LLM 추론 속도를 최대 28배 높여주는 Optimum-NVIDIA 라이브러리를 출시했다.
Hugging Face의 optimum-neuron을 통해 AWS Inferentia2에서 Llama 2 모델을 최적화하여 배포하는 방법을 제공한다.
Hugging Face가 Amazon SageMaker에서 Llama 2를 최적으로 배포하기 위한 60개 이상의 구성에 대한 벤치마크 결과를 공개했다.
🤗 Transformers 라이브러리에서 기본 지원하는 bitsandbytes와 auto-gptq 양자화 방식의 특징을 비교한다.
Hugging Face가 TGI 기반의 Amazon SageMaker 전용 LLM 추론 컨테이너를 출시했다.
🤗 Optimum Habana을 통해 Habana Gaudi2 가속기에서 176B 규모의 BLOOMZ 모델을 효율적으로 배포하고 추론하는 방법을 소개한다.