AI Briefing#inference-acceleration
#inference-acceleration와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-acceleration와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
CalibAtt는 비디오 생성 모델의 어텐션 연산 중 불필요한 연결을 식별하여 속도를 최대 1.58배 높이는 기술이다.
추가 학습 없이 단계별 해상도 조절을 통해 Diffusion 모델의 추론 속도를 획기적으로 높이는 MrFlow 기술이 제안되었습니다.
DSpark가 병렬 드래프터의 수락률 급감 문제를 해결하기 위해 준자기회귀 생성과 신뢰도 스케줄링을 결합한 추측 디코딩 프레임워크를 공개했다.
코딩 에이전트의 작업 특성에 맞춰 Speculative Decoding과 커널 최적화 등을 통해 추론 속도를 혁신적으로 높이는 방법을 다룬다.
Intel Gaudi 2 가속기를 통해 단백질 언어 모델 ProtST의 추론 및 미세 조정 성능을 A100 대비 대폭 향상시켰다.
🤗 Optimum Intel을 통해 Intel Xeon CPU에서 SetFit 모델의 추론 속도를 최대 7.8배 가속화할 수 있다.
Optimum Intel과 fastRAG를 통해 Intel CPU 환경에서 임베딩 모델의 추론 성능을 최적화하는 방법을 다룬다.
Optimum Intel과 양자화 기술을 통해 Intel Xeon 프로세서에서 StarCoder의 추론 성능을 7배 이상 개선했다.
ONNX Runtime과 Microsoft Olive를 통해 SD Turbo 및 SDXL Turbo 모델의 추론 성능을 대폭 개선했다.
Hugging Face Diffusers가 JAX를 통해 Cloud TPU v5e에서 SDXL 추론을 지원하며 성능과 비용 효율성을 높였다.
SmoothQuant 기술을 활용해 LLM의 크기를 줄이고 Intel CPU에서의 추론 효율을 높이는 방법을 다룬다.
Intel Sapphire Rapids CPU에서 OpenVINO를 활용해 Stable Diffusion 추론 속도를 2배 이상 높이는 방법을 소개한다.
Intel Sapphire Rapids CPU와 Optimum Intel 라이브러리를 활용해 PyTorch Transformer 모델의 추론 성능을 최적화하는 방법을 다룬다.
Hugging Face의 Optimum Intel에 Intel OpenVINO가 통합되어 Intel 프로세서 기반의 모델 추론 및 양자화가 용이해졌다.
Hugging Face가 Transformers 모델의 추론 성능을 최적화하는 Optimum 라이브러리의 기능을 업데이트했다.