AI BriefingLiquid AI, LFM2.5 Q4_0 공개
LFM2.5 Q4\_0 Checkpoints from Quantization-Aware Distillation
·2026.08.19 22:48
핵심 내용
Liquid AI가 양자화 인식 증류(QAD)로 품질 저하를 최소화한 LFM2.5 Q4_0 모델을 공개했다.
자세히 보기
Liquid AI는 LFM2.5 시리즈(230M, 350M, 1.2B-Instruct, 2.6B)의 Q4_0 GGUF 체크포인트를 공개했다. 이 모델들은 양자화 인식 증류(QAD) 기법을 적용하여, 고해상도 티처 모델에서 양자화된 스튜던트 모델로 지식을 전이시켰다.
기존 후학습 양자화(PTQ) 방식과 달리, QAD 체크포인트는 BF16 기준 평균 정확도의 97%를 회복하면서도 Q4_0 특유의 낮은 메모리 점유율과 높은 처리 속도를 유지한다. 벤치마크 결과, 230M 및 350M 모델은 Q5_K_M 품질에 근접하며 디코딩 처리량이 4~33% 더 높게 나타났다.
MacBook Pro, NucBox, Galaxy S26 Ultra, Raspberry Pi 5 등 다양한 엣지 하드웨어에서 성능을 검증했으며, llama.cpp 등 GGUF Q4_0 아티팩트를 지원하는 런타임에서 바로 사용 가능하다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
