AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
FuriosaAI는 기존 Systolic Array의 경직성을 극복하고 유연한 연산을 지원하는 TCP 아키텍처를 공개했다.
Hugging Face가 자체 인프라에서 오픈 모델을 쉽게 배포할 수 있는 추론 서비스 HUGS를 출시했다.
FuriosaAI는 LLM 및 멀티모달 모델 추론 성능을 극대화하기 위해 차세대 AI 칩 RNGD에 HBM3를 도입했다.
FuriosaAI가 Hot Chips 2024에서 LLM 및 멀티모달 모델 추론에 최적화된 신규 AI 가속기 RNGD를 공개했다.
Hugging Face의 TGI가 하나의 베이스 모델로 여러 LoRA 어댑터를 동적으로 서빙하는 기능을 출시했다.
FuriosaAI가 LLM 및 멀티모달 모델 추론에 최적화된 고효율 AI 가속기 RNGD를 공개했다.
Hugging Face가 AMD Instinct MI300 GPU를 플랫폼에 통합하여 모델 배포 및 추론 최적화를 지원한다.
글로벌 기업들은 2024년 AI 인프라 확장을 계획 중이며, 특히 GPU를 대체할 비용 효율적인 추론용 인프라 확보에 집중하고 있다.
Intel Gaudi 2 가속기에서 Llama 2 모델을 효율적으로 실행하기 위한 Optimum Habana 기반의 텍스트 생성 파이프라인 사용법을 소개한다.
PyTorch의 meta device를 활용해 메모리 제약을 극복하고 대규모 언어 모델을 효율적으로 로드하는 방법을 설명한다.
Intel Xeon CPU의 하드웨어 및 소프트웨어 기능을 활용해 BERT 모델의 추론 성능을 최적화하는 방법을 설명한다.
현대적 CPU 환경에서 BERT 모델의 추론 성능을 극대화하기 위한 최적화 전략과 벤치마킹 방법론을 설명한다.