NVIDIA, Star Elastic 공개

NVIDIA가 Nemotron Nano v3에 적용된 새로운 포스트 트레이닝 방식인 Star Elastic을 발표했다. 이 기술은 단일 체크포인트 내에 30B, 23B, 12B 세 가지 크기의 모델을 포함하며, Zero-Shot Slicing을 통해 원하는 크기의 모델을 즉시 추출할 수 있다.

핵심 기술 특징:

• 학습 가능한 라우터(Learnable Router): Gumbel-Softmax를 통해 어텐션 헤드, Mamba SSM 헤드, MoE 전문가, FFN 채널 등 다양한 아키텍처 구성 요소를 최적의 파라미터 예산에 맞춰 매핑한다.
• 단계별 모델 크기 최적화: 추론 과정 중 '생각(Thinking)' 단계에는 23B 모델을, 최종 '답변(Answer)' 단계에는 30B 모델을 할당하여 효율성을 극대화한다.

주요 성과:

• 성능 향상: 표준 예산 제어 방식 대비 정확도 16% 향상, 지연 시간(Latency) 1.9배 감소 (AIME-2025, GPQA 등 벤치마크 기준).
• 비용 절감: 처음부터 모델을 학습시키는 방식 대비 토큰 사용량을 360배 절감했다.
• 하드웨어 접근성: 12B NVFP4 변형 모델은 RTX 5080에서도 구동 가능하며, RTX Pro 6000에서는 초당 7,426 토큰의 속도를 기록했다.