LongCat-2.5, 1.6T 파라미터 네이티브 멀티모달로 에이전틱 코딩 강화
·2026.11.03 00:00
핵심 내용
LongCat-2.5가 1.6T 파라미터로 프런티어 모델에 근접한 성능을 달성했다
자세히 보기
- 1.6T 파라미터 Mixture-of-Experts 모델로 토큰당 48B 활성 파라미터를 갖춘 LongCat-2.5가 네이티브 멀티모달성과 강화된 에이전틱 코딩 기능을 제공함
- Terminal Bench v2.1에서 88.4점, BrowseComp에서 91.9점을 기록하며 전작 LongCat-2.0(각각 70.8점, 79.9점)을 크게 상회하고 GPT-5.5 및 Claude-Opus-5와 경쟁하는 수준을 보임
- 네이티브 해상도 특징에 Residual Vector Quantization(RVQ)을 적용해 시각 및 텍스트 토큰을 공유 의미론적 공간에 통합함으로써 정보 병목을 제거함
- 비동기 롤아웃, 로그-확률 클리핑을 통한 스탈니스 보정, 네트워크 격리 및 LLM 기반 궤적 감사로 리워드 해킹을 방지하는 에이전틱 강화학습(RL)을 적용함
Technical Architecture
- 도메인 전문가의 전체 어휘 KL 발산을 이용해 학생 모델을 유도하는 Multi-Teacher On-Policy Distillation(MOPD)을 사용하며 Tree Attention으로 단일 포워드/백워드 패스 효율을 확보함
- 80GB 미만의 디바이스당 메모리를 사용해 국내 AI 가속기에 최적화했으며 Supernode-aware 병렬화와 동적 전문가 복제로 OOM을 방지함
- W8A8 INT8 베이스라인 대비 W4A4 양자화 솔루션으로 프리필 처리량을 43.3%, 디코드 처리량을 42.77% 향상시킴
Evaluation Context
- Claude Code, mini-swe-agent 등 특정 하네스를 사용해 Terminal Bench v2.1, DeepSWE v1.1, BrowseComp, MathVision 벤치마크를 수행함
- 비교 대상 모델로는 GPT-5.5, GPT-5.6-Sol, Claude-Opus-4.8, Claude-Opus-5, GLM-5.3, kimi-k3, DeepSeek-V4.1-Flash를 포함함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.