llama.cpp, NVIDIA Nemotron-3-Puzzle-75B-A9B 모델 지원 추가

llama.cpp 프로젝트에 NVIDIA의 Nemotron-3-Puzzle-75B-A9B 모델 지원이 추가되었다. 이 모델은 75B MoE 아키텍처를 적용하여 현재 실행이 가능하며, 아직 MTP(Multi-Token Prediction) 기능은 지원하지 않는다.

모델 아키텍처 및 특징

• 하이브리드 구조: Mamba, MoE, Attention 레이어가 교대로 배치된 하이브리드 MoE 아키텍처를 사용한다.
• MTP 지원 계획: 상위 모델인 Nemotron-3-Super와 마찬가지로 텍스트 생성 속도를 높이기 위한 MTP 기능을 지원하도록 설계되었으나, llama.cpp에서는 아직 구현되지 않았다.
• 파라미터 효율성: 부모 모델 대비 총 파라미터 수를 120.7B에서 75.3B로, 활성 파라미터 수를 12.8B에서 9.3B로 줄여 경량화했다.