AI Briefing#model-optimization
#model-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
임베디드 로봇 플랫폼에서 VLA 모델을 효율적으로 배포하기 위한 데이터 수집, 미세 조정 및 최적화 전략을 다룬다.
Optimum-Intel과 OpenVINO GenAI를 활용해 Intel 하드웨어에서 LLM을 최적화하고 배포하는 방법을 다룬다.
ONNX Runtime과 Microsoft Olive를 통해 SD Turbo 및 SDXL Turbo 모델의 추론 성능을 대폭 개선했다.
torchserve thread 설정과 ipex pinning으로 CPU serving 성능을 4배 끌어올렸다.
Apple의 Core ML 최적화와 6비트 팔레타이제이션을 통해 Apple 기기에서 Stable Diffusion을 더 빠르고 효율적으로 실행할 수 있다.
SmoothQuant 기술을 활용해 LLM의 크기를 줄이고 Intel CPU에서의 추론 효율을 높이는 방법을 다룬다.
Hugging Face Optimum을 활용해 Transformers 모델을 ONNX 형식으로 변환하고 추론 성능을 최적화하는 방법을 설명한다.
Hugging Face가 트랜스포머 모델의 하드웨어별 성능 최적화를 지원하는 오픈소스 라이브러리 Optimum을 공개했다.
Hugging Face가 모델 크기를 줄이고 속도를 높이는 pytorch_block_sparse 라이브러리를 출시했다.