LFM2.5-24B-A2B: 24B 매개변수 중 2B만 활성화하는 엣지 최적화 MoE 모델

총 240억 개의 파라미터를 보유하지만, 추론 시에는 20억 개만 활성화하는 Mixture of Experts 구조를 채택했다. 이를 통해 대규모 모델의 성능을 유지하면서도 엣지 디바이스나 제한된 하드웨어 환경에서 효율적으로 실행할 수 있다.

1 / 4

영어, 한국어, 일본어, 중국어 등 16개 언어를 지원하며 대화형 텍스트 생성에 특화되어 있다. 도구 호출과 추론 과정 처리가 가능한 채팅 템플릿을 내장해 복잡한 에이전트 워크플로우에도 유연하게 대응한다.

vLLM, SGLang 등 주요 추론 엔진과 호환되며 OpenAI 호환 API를 제공한다. 모바일이나 임베디드 시스템 등 컴퓨팅 자원이 부족한 환경에서 고품질 LLM 서비스를 구축하려는 개발자에게 적합하다.