LFM2.5-24B-A2B-GGUF: 24B 파라미터를 4GB VRAM에서 돌리는 QAD 양자화 모델

Liquid AI가 개발한 하이브리드 아키텍처 기반의 24B 파라미터 모델이다. 엣지 디바이스 및 온디바이스 배포에 최적화되어, 제한된 하드웨어 자원에서도 높은 품질과 빠른 추론 속도를 유지하도록 설계됐다.

특히 Q4_0 양자화 손실을 회복하기 위해 Quantization-Aware Distillation 기법을 적용한 체크포인트를 제공한다. llama.cpp, vLLM, Ollama 등 주요 로컬 추론 엔진과 호환되며, OpenAI 호환 API를 통해 다양한 에이전트 프레임워크와 연동할 수 있다.

10개 언어를 지원하고 도구 호출 및 추론 과정을 처리하는 기능이 내장되어 있다. 클라우드 의존 없이 로컬 환경에서 대규모 언어 모델의 성능을 활용해야 하는 개발자나 엣지 AI 애플리케이션 구축자에게 적합하다.