Meituan, 1.6T 파라미터 MoE 모델 공개

Meituan에서 개발한 LongCat-2.0은 총 1.6T(1.6조) 파라미터 규모의 MoE(Mixture-of-Experts) 모델로, 추론 시에는 약 48B(480억)개의 활성 파라미터를 사용한다.

이 모델의 주요 특징은 다음과 같다:

• 1M(100만) 토큰의 긴 컨텍스트 창 지원
• LongCat Sparse Attention 기술 적용
• 코딩 및 에이전트 워크플로우에 최적화된 사후 학습(Post-training) 수행
• Claude Code, OpenClaw, Hermes 등과 통합 가능

특히 이번 모델은 기존의 Nvidia GPU 중심 학습 방식에서 벗어나, **AI ASIC 슈퍼포드(Superpods)**를 활용해 35T(35조) 토큰 이상의 데이터를 학습했으며, 학습 과정 중 손실 스파이크(Loss spike) 없이 안정적인 학습을 완료했다는 점이 기술적 핵심이다. 모델은 MIT 라이선스를 따르는 오픈 웨이트(Open weights) 형태로 제공된다.