AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Unsloth 양자화 모델에 MTP 레이어를 결합하여 Qwen3.6의 추론 성능을 최적화하는 방법을 안내한다.
vLLM이 Mamba 레이어 문제로 발생하던 Qwen 3.5+ 모델의 TurboQuant 미구현 오류를 해결함.
MoE 모델용 혼합 정밀도 양자화 전략인 APEX가 30종 이상의 모델로 확대되고 새로운 초압축 티어를 출시했다.
RTX 3090에서 Qwen 3.6 35B MoE를 262K context로 돌리는 재현 가능한 세팅을 공개했다.
MiniMax M2.7 AWQ-4bit를 2x Spark와 2x RTX 6000 96GB에서 성능과 에너지 효율을 비교했다.
Unsloth가 긴 컨텍스트에서 오류가 발생하던 Mistral Medium 3.5 128B GGUF 모델의 수정 버전을 배포했다.
RTX 5090에서 Qwen3.6-27B UD-Q5_K_XL 벤치마크를 19회, 93.9k 토큰으로 진행했다.
Runtime Valkyr에 TurboQuant 추론 경로가 추가돼 RTX 3090에서 Gemma 120 tok/s를 냈다.
llama.cpp b8967의 native NVFP4가 프리필 속도를 최대 68% 높였지만 생성 속도는 거의 같았다.