Nvidia, Nemotron 3 Nano Omni 공개

Nvidia가 Nemotron 3 Nano Omni를 공개했다. 30B parameters 중 3B active만 쓰는 MoE 기반 오픈웨이트 멀티모달 모델로, vision·audio·language를 한 아키텍처에 묶어 엣지와 single-GPU 환경을 겨냥한다.

Nvidia는 비슷한 급의 오픈 멀티모달 모델보다 9배 처리량, 2.9배 빠른 단일 스트림 추론, 약 9배 높은 비디오 추론 시스템 용량을 주장한다. 문서·비디오·오디오 이해 관련 6개 벤치마크에서도 선두라고 밝혔다.

구성은 hybrid Mamba-Transformer다.

• 23개 Mamba-2 레이어
• 23개 MoE 레이어(128 experts, 토큰당 6개 라우팅 + shared expert)
• 6개 grouped-query attention 레이어
• 이미지 인코더 C-RADIOv4-H, 오디오 인코더 Parakeet-TDT-0.6B-v2, 비디오는 3D convolution
• 베이스 텍스트 모델은 25T tokens로 사전학습됐고, 컨텍스트는 256,000 tokens까지 지원한다.

상용 이용은 Open Model Agreement 아래 가능하며, Hugging Face, NIM microservice, Amazon SageMaker JumpStart, OpenRouter와 함께 vLLM, SGLang, Ollama, llama.cpp, TensorRT-LLM에서도 배포할 수 있다. Foxconn, Palantir, Aible, ASI, Eka Care, H Company가 도입했고 Dell, DocuSign, Infosys, Oracle, Zefr는 평가 중이다.