AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp에 CUDA 기반 FWHT가 추가되어 KV-cache 양자화 시 추론 속도가 향상되었습니다.
MLX의 한계를 보완하여 Apple Silicon에서 W8A8 활성화 양자화를 지원하는 SDK 'Cider'가 공개되었다.
Huawei Ascend NPU에서 1.58비트 양자화 인지 학습을 지원하는 BitCPM-CANN 모델 시리즈를 공개했다.
llama.cpp가 NVIDIA FP4 양자화와 Multi-Token Prediction(MTP) 기능을 지원한다.
llama.cpp에서 비대칭 KV 캐시 양자화 사용 시 CUDA 가속이 제한되는 문제와 해결 방안이 논의되고 있다.
Cohere가 무손실 양자화와 네이티브 인용 기능을 갖춘 Apache 2.0 라이선스 모델 Command A+를 출시했다.
프리필 단계에는 공격적 양자화를, 디코딩에는 고정밀 방식을 적용해 효율을 높이는 Mix-Quant 연구 발표
OpenAI가 Parameter Golf를 통해 AI 에이전트 시대의 연구 챌린지 교훈을 정리했다.