NVIDIA Nemotron 3 Nano Omni 공개

NVIDIA가 Nemotron 3 Nano Omni를 공개했다. 비디오·오디오·이미지·텍스트를 하나로 처리하는 멀티모달 LLM으로, 기업용 Q&A, 요약, 전사, 문서 인텔리전스, GUI 자동화를 겨냥했다. 2026년 4월 28일 Build.Nvidia.com, Hugging Face, NGC에 동시에 올라왔고, NVIDIA Open Model Agreement 하에 상업적 사용이 가능하다. 개선에는 Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct, gpt-oss-120b가 사용됐다.

핵심 사양은 다음과 같다.

• 아키텍처: Mamba2-Transformer hybrid MoE
• 구성: Nemotron 3 Nano LLM(30B A3B), CRADIO v4-H vision encoder, Parakeet speech encoder
• 파라미터: 3.1×10^10(31B A3B)
• 입력: video(mp4, 최대 2분), audio(wav/mp3, 최대 1시간), image(RGB), text
• 비디오 샘플링: 1080p는 1 FPS/128 frames, 720p는 2 FPS/256 frames 안내
• 컨텍스트: 최대 256k tokens
• 출력: text, JSON, reasoning 출력, tool calling, word-level timestamps
• 언어: English only

배포 경로도 넓다.

• 런타임: vLLM, NeMo, Megatron, NeMo-RL
• 추론 런타임: TensorRT LLM, TensorRT Edge-LLM, llama.cpp, Ollama, SGLang
• 지원 하드웨어: Ampere, Hopper, Blackwell, Lovelace 계열
• vLLM은 0.20.0이 필요하고, 오디오를 쓰려면 vllm[audio]를 설치해야 한다.

NVIDIA는 예시 실행 명령도 제공했다. 일반 1GPU 환경에서는 --max-model-len 131072, --reasoning-parser nemotron_v3, --enable-auto-tool-choice, --tool-call-parser qwen3_coder 등을 쓰며, BF16에서는 --kv-cache-dtype fp8를 생략한다. RTX Pro는 --moe-backend triton, NVFP4 + TP>1 조합은 --moe-backend flashinfer_cutlass가 필요하다고 적었다.

DGX Spark(ARM64)용 예시와 메모리 튜닝도 포함됐다. 통합 LPDDR5X 메모리 환경에서 --gpu-memory-utilization과 --max-model-len을 낮춰 KV cache와 메모리 압박을 줄이는 방식으로 조정하도록 안내했다.