#quantization

#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

SuperGemma4 - Google Gemma 4 26B의 비검열/속도 개선/양자화 모델

Gemma 4 26B를 MLX 4-bit로 최적화한 빠른 비검열 로컬 모델.

·2026.04.16 11시

INT4 붕괴 해결

KV cache INT4가 일부 모델에서 무너지는 원인을 찾고 4줄짜리 보정으로 개선했다.

·2026.04.16 05시

라우터까지 갈아탔다

Gemma4 26B와 E4B가 Qwen 3.5 라우팅/응답 품질 문제를 체감상 대체했다.

·1·2026.04.16 04시

290MB 로컬 LLM

290MB짜리 1-bit Bonsai 1.7B가 브라우저 WebGPU에서 로컬 구동된다.

·2026.04.16 01시

양자화가 역효과

MacBook Air M4에서 TTS 엔진 30개를 돌려보니 Kokoro가 최적, 양자화는 오히려 느렸다.

·1·2026.04.15 23시

GGUF NaN 폭발

MiniMax M2.7 GGUF 일부에서 perplexity NaN 원인을 조사하고 수정했다.

·1·2026.04.15 05시

M5pro가 122B 돌렸다

M5pro 64GB에서 Qwen 3.5 122B가 IQ2-m 기준으로 꽤 잘 돌아갔다.

·2026.04.14 03시

8GB로 120B

lazy expert loading과 TurboQuant으로 120B LLM의 초저메모리 실행을 노린다.

·1·2026.04.13 04시

96GB면 122B 간다

96GB VRAM에선 Qwen 3.5 122B와 27B 사이가 실전 선택지로 정리됐다.

·2026.04.10 14시

16GB로 돌린 waifu

Gemma 4와 자체 TTS로 음성·영상 대화형 와이푸 학습 앱을 직접 구현했다.

·1·2026.04.10 12시

8GB 한계 돌파

8GB ThinkPad로 오프라인 동반 로봇을 만드는 실전 구성과 최적화 조언이 공유됐다.

·2·2026.04.10 11시

도구를 못 쓰는 Gemma 4

Gemma 4가 시스템 프롬프트·도구 호출에서 약하다는 실사용 보고와 대응책이다.

·2026.04.10 05시

표준 포맷 격상

Safetensors가 PyTorch Foundation에 합류하며 PyTorch 코어 통합과 새 로드맵을 예고했다.

·1·2026.04.08 09시

Fujitsu One Compression (3분 읽기)

Fujitsu가 LLM의 양자화 정확도를 개선하는 오픈소스 Python 라이브러리 OneComp를 공개했다.

·2026.04.02 09시

AI21, Jamba 1.5 모델 제품군 공개

AI21이 SSM-Transformer 기반의 고성능 오픈 모델인 Jamba 1.5 제품군을 공개했다.

·1·2026.03.25 20시

[Tech Series] kt cloud AI 검색 증강 생성(RAG) #4: 임베딩과 벡터 인덱싱 기술

RAG 시스템의 품질과 운영 비용을 결정짓는 임베딩 원리와 벡터 인덱싱 최적화 기법을 다룬다.

·1·2026.03.23 16시

‘힘세고 강한 아침’을 넘어: GPT-4o-mini를 대체할 TranslateGemma 실험기

무신사가 GPT-4o-mini 대신 TranslateGemma 27B(Q6)로 번역 품질과 비용을 점검했다.

·1·2026.03.16 07시

저비트 추론이 AI를 효율적으로 만드는 법

저비트 추론은 메모리와 연산을 줄여 AI 모델을 더 빠르고 저렴하게 만든다.

·1·2026.02.13 03시

온디바이스 AI 얼굴 검증 파이프라인 최적화

안드로이드 온디바이스 얼굴 검증 최적화로 latency 37%, throughput 530% 개선.

·1·2026.01.23 09시

AI 추론 시스템의 총체적 최적화

AI 추론 비용을 낮추려면 모델부터 스케줄링까지 전 계층을 최적화해야 한다.

·2025.12.08 09시

Intel CPU용 VLM 최적화 및 실행 가이드

OpenVINO와 Optimum Intel을 활용해 Intel CPU에서 VLM을 최적화하고 실행하는 방법을 안내한다.

·1·2025.10.15 09시

SD3.5-Flash: 생성형 Flow의 분포 유도 증류

SD3.5-Flash는 몇 단계만으로도 고품질 이미지를 내는 경량 distillation 프레임워크다.

·1·2025.09.27 05시

transformers, gpt-oss 최적화 업데이트

Hugging Face transformers 라이브러리가 OpenAI gpt-oss 모델 지원을 위한 대규모 업데이트를 발표했다.

·2025.09.11 09시

FLUX.1-dev, 저사양 GPU로 QLoRA 학습

diffusers 라이브러리와 QLoRA를 활용해 10GB 미만의 VRAM으로 FLUX.1-dev 모델을 효율적으로 미세 조정하는 방법을 소개한다.

·2025.06.19 09시