Liquid AI, 온디바이스 에이전트용 MoE 모델 LFM2.5-24B-A2B 공개

Liquid AI가 LFM2.5 시리즈의 마지막이자 가장 큰 모델인 LFM2.5-24B-A2B를 공개했다. 이 24B 파라미터 Mixture-of-Experts(MoE) 모델은 로컬 하드웨어에서 빠르고 프라이빗한 에이전트 실행을 목표로 하며, 토큰당 2B 파라미터만 활성화한다. 현재 Hugging Face에서 오픈 웨이트로 제공되며 Liquid AI Playground를 통해 접근할 수 있다.

성능 및 벤치마크

LFM2.5-24B-A2B는 더 큰 모델들과 경쟁력 있는 성능을 보여준다. 특히 총 파라미터와 활성 파라미터가 약 50% 더 많은 Qwen3.6-35B-A3B를 8개 에이전트 및 도구 사용 벤치마크 중 5개에서 능가하거나 동등한 성능을 기록했다.

• AutomationBench: 27.69점 (Qwen3.6-35B-A3B는 8.72점)
• LiveClaw: 48.09점 (Qwen3.6-35B-A3B는 38.19점)
• BFCLv4: 65.01점 (Qwen3.6-35B-A3B는 65.00점으로 사실상 동률)
• 지시문 준수: IFEval(96.75), IFBench(74.69), Multi-IF(84.38)에서 우위

도구 사용과 지시문 준수에서는 우수하지만, 지식 중심 작업(GPQA Diamond, HLE)과 복잡한 코딩 벤치마크(SWE-Bench Verified)에서는 더 큰 모델들이 여전히 우위를 점한다.

아키텍처 및 학습

이 모델은 이전 LFM2-24B-A2B를 기반으로 아키텍처와 학습 방식에 중요한 업데이트를 적용했다.

• 컨텍스트 윈도우: 32,768에서 131,072 토큰으로 확장
• 어휘: 비라틴어 지원 개선을 위해 인플레이스 토크나이저 확장을 통해 65K에서 128K 토큰으로 두 배 증가
• 사전 학습: 17T에서 33T 토큰으로 규모 확대
• 추론: 전작과 달리 LFM2.5-24B-A2B는 답변 전에 명시적인 사고의 사슬(chain of thought)을 생성하는 추론 전용 모델이다.
• 후 학습: 지도 미세 조정(SFT), 교사 전문화, 다중 도메인 온폴리시 증류(MOPD), OpenClaw 및 Hermes Agent 같은 하네스 내 에이전트 강화 학습(Agentic RL)을 포함한 5단계 파이프라인 활용

추론 속도 및 배포

효율적인 아키텍처 덕분에 LFM2.5-24B-A2B는 소비자용 및 서버 하드웨어에서 높은 처리량을 제공한다.

• Apple M5 Max: 초당 184 토큰 디코딩
• AMD Ryzen AI Max+ 395: 초당 114 토큰 디코딩
• NVIDIA B300 GPU: 높은 동시성에서 초당 21K 이상의 출력 토큰 생성

이 모델은 llama.cpp, MLX, vLLM, SGLang, ONNX에 대한 첫날 지원과 함께 출시된다. Liquid Console API를 통해 입력 토큰 100만 개당 $0.10, 출력 토큰 100만 개당 $1.00의 가격으로 제공된다.