AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
사용자 하드웨어 사양을 분석해 최적의 성능을 내는 로컬 LLM을 추천하고 실행하는 CLI 도구이다.
Furiosa가 RENEGADE Summit 2026에서 RNGD 양산 전환과 인퍼런스 전략을 공개했다.
llama.cpp b9095 업데이트로 Blackwell PCIe GPU에서 NCCL 없이 텐서 병렬 처리가 가능해졌다.
Google이 Gemma 4용 MTP drafter를 공개해 추론 속도를 최대 3배 높였다.
LLM 가중치는 BF16에서 16비트 중 약 10.6비트만 실제 정보를 담는 것으로 분석됐다.
Google이 Gemma 4용 MTP drafters를 공개해 inference 속도를 최대 3배 높였다.
vLLM이 Mamba 레이어 문제로 발생하던 Qwen 3.5+ 모델의 TurboQuant 미구현 오류를 해결함.
Hummingbird+가 24GB, 양산가 약 $150인 보드에서 Qwen3-30B-A3B Q4를 18 t/s로 구동했다.
Windows 10에서 native vLLM으로 Qwen3.6-27B가 72 tok/s를 기록했다.
GLM-5 대규모 서비스에서 KV Cache race condition 수정과 LayerSplit 최적화를 공개했다.