Liquid AI, 38T 토큰으로 학습된 8B-A1B MoE 모델 공개

Liquid AI가 소비자용 하드웨어에서 빠르고 안정적인 도구 호출(tool calling)이 가능한 엣지 모델 LFM2.5-8B-A1B를 출시했습니다.

이 모델은 이전 버전 대비 컨텍스트 창을 128K로 확장했으며, 사전 학습 데이터 규모를 12T에서 38T 토큰으로 대폭 늘렸습니다. 또한 비라틴어 언어의 토큰화 효율을 높이기 위해 어휘 사전(vocabulary) 크기를 128K로 두 배 확장했습니다.

특히 이번 버전은 추론 전용(reasoning-only) 모델로 설계되었습니다. 모델이 최종 답변을 내놓기 전 명시적인 **사고의 사슬(Chain of Thought)**을 생성하도록 하여, MoE 모델의 연산 효율성을 유지하면서도 품질을 크게 높였습니다.

주요 특징은 다음과 같습니다:

• 온디바이스 개인 비서: 복잡한 지시 수행 및 도구 호출 체이닝에 최적화
• 압축된 성능: 더 큰 규모의 밀집(dense) 및 MoE 모델과 경쟁 가능한 성능
• 최상급 처리량: CPU 및 GPU 추론 모두에서 동급 최강의 속도 제공 (llama.cpp, MLX, vLLM, SGLang 지원)

벤치마크 결과, AA-Omniscience Index, IFEval, MATH500 등 주요 지표에서 이전 모델 대비 비약적인 성능 향상을 기록했습니다.