AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face Diffusers에서 지원하는 다양한 양자화 백엔드의 성능과 메모리 효율성을 Flux 모델을 통해 분석한다.
Intel이 저비트 양자화에서도 높은 정확도를 유지하는 LLM/VLM용 도구 AutoRound를 공개했다.
Optimum-Intel과 OpenVINO GenAI를 활용해 Intel 하드웨어에서 LLM을 최적화하고 배포하는 방법을 다룬다.
기존 LLM을 1.58비트 BitNet 아키텍처로 파인튜닝하여 연산 효율을 극대화하는 방법과 모델을 공개했다.
Transformer 추론에 최적화된 저수준 C/C++ 라이브러리인 ggml의 특징과 핵심 개념을 소개합니다.
Quanto 양자화 도구를 활용해 Diffusion Transformer 모델의 메모리 사용량을 효율적으로 줄이는 방법을 제시한다.
KV Cache 양자화를 통해 LLM의 메모리 사용량을 줄이고 더 긴 컨텍스트 생성을 지원한다.
🤗 Optimum Intel을 통해 Intel Xeon CPU에서 SetFit 모델의 추론 속도를 최대 7.8배 가속화할 수 있다.
Hugging Face가 Optimum 라이브러리를 위한 범용 PyTorch 양자화 백엔드인 Quanto를 출시했다.
Optimum Intel과 양자화 기술을 통해 Intel Xeon 프로세서에서 StarCoder의 추론 성능을 7배 이상 개선했다.
🤗 Transformers 라이브러리에서 기본 지원하는 bitsandbytes와 auto-gptq 양자화 방식의 특징을 비교한다.
Apple과 Hugging Face가 SDXL을 Mac에서 효율적으로 실행할 수 있도록 Core ML 최적화 및 양자화 기술을 공개했다.
Apple의 Core ML 최적화와 6비트 팔레타이제이션을 통해 Apple 기기에서 Stable Diffusion을 더 빠르고 효율적으로 실행할 수 있다.
NNCF와 Optimum을 활용해 Intel CPU에서 Stable Diffusion의 추론 속도를 5.1배 높이는 최적화 방법을 제시한다.
4-bit 양자화와 QLoRA 기술을 통해 대규모 언어 모델을 적은 메모리로도 효율적으로 파인튜닝할 수 있게 되었다.
SmoothQuant 기술을 활용해 LLM의 크기를 줄이고 Intel CPU에서의 추론 효율을 높이는 방법을 다룬다.
Hugging Face의 Optimum Intel에 Intel OpenVINO가 통합되어 Intel 프로세서 기반의 모델 추론 및 양자화가 용이해졌다.
대규모 언어 모델의 메모리 사용량을 2배 줄이면서 성능을 유지하는 8비트 양자화 기술과 Hugging Face 라이브러리 통합을 설명한다.
Intel과 Hugging Face가 협력하여 Transformer 모델의 하드웨어 가속을 지원하는 Optimum Intel 라이브러리를 공개했다.
Hugging Face가 Transformers 모델의 추론 성능을 최적화하는 Optimum 라이브러리의 기능을 업데이트했다.
Hugging Face가 라이브러리 최적화와 하드웨어 맞춤형 컴파일을 통해 Transformer 추론 속도를 100배 향상시킨 기술적 접근법을 공개했다.