llama.cpp, Mellum2.1 지원 추가

llama.cpp가 Mellum2.1 Thinking 모델에 대한 Multi-Token Prediction (MTP) 지원 기능을 병합했다. 이 모델은 총 12B 파라미터와 2.5B 활성 파라미터를 가진 Mixture-of-Experts (MoE) 구조를 유지하지만, 학습 과정에서 강화 학습(RL)의 비중을 대폭 확대하는 데 초점을 맞췄다.

모델 아키텍처 및 사양

Mellum2.1 Thinking의 주요 기술 사양은 다음과 같다:

• 파라미터: 총 12B, 활성 2.5B
• 구조: 28 레이어, 64개 전문가 중 토큰당 8개 활성화
• 컨텍스트: 131,072 토큰, 슬라이딩 윈도우 1,024
• 정밀도: bfloat16
• 라이선스: Apache 2.0

학습 및 성능

이번 버전의 핵심 개발 방향은 강화 학습(RL)을 최종 단계에서 주요 학습 구성 요소로 확장하는 것이었다. 이를 위해 다음과 같은 노력이 기울여졌다:

• 데이터 필터링 강화: 수학, 경쟁 프로그래밍, 과학, 도구 사용 등 새로운 RL 작업을 위해 공개 데이터셋과 자체 제작 작업을 결합했다.
• 에이전트 기술 개발: 실제 소프트웨어 엔지니어링 환경에서 셸 및 파일 편집 도구를 사용하는 훈련을 진행했으며, 테스트 통과 시 보상(reward)을 제공하는 방식으로 학습했다.
• 자율성 향상: 수백만 건의 샌드박스 훈련 실행을 통해 Mellum2.1은 코드베이스 탐색 및 수정 사항 자체 검증 등 에이전트 작업에서 뛰어난 성능을 보여준다.