Laguna-M.1: 225B MoE 모델 공개

Poolside에서 개발한 Laguna-M.1은 총 225B 파라미터를 보유한 Mixture-of-Experts(MoE) 모델로, 토큰당 23B의 활성 파라미터를 사용합니다. 에이전트 기반 코딩 및 장기 작업(Long-horizon work) 수행에 특화되어 설계되었습니다.

주요 기술적 특징은 다음과 같습니다:

• MoE 구조: 70개의 레이어 중 67개가 sparse MoE 레이어이며, **256개의 전문가(Experts)**와 top-k=16 라우팅을 지원합니다.
• 아키텍처: Global attention 아키텍처를 사용하며, softplus attention output gating을 적용했습니다.
• 추론 지원: 도구 호출(Tool calls) 사이의 Interleaved thinking 기능을 지원하여 요청 시 추론 기능을 활성화하거나 비활성화할 수 있습니다.
• 컨텍스트 윈도우: 262,144 토큰의 긴 컨텍스트를 지원합니다.

성능 측면에서 Laguna-M.1은 SWE-bench Verified(74.6%), SWE-bench Multilingual(63.1%) 등 주요 에이전트 벤치마크에서 최신 오픈 가중치 모델들과 경쟁할 만한 높은 성능을 보여줍니다. 본 모델은 Apache 2.0 라이선스로 배포되어 상업적 이용이 가능합니다.