NVIDIA, Nemotron 3.5 Lightning을 AI Gateway에 무료 제공

NVIDIA의 Nemotron 3.5 Lightning이 AI Gateway에 nvidia/nemotron-3.5-lightning-free 모델 ID로 무료 제공된다. NVIDIA가 직접 서빙하는 이 오픈 웨이트 추론 및 챗 모델은 장기 실행 에이전트, 서브 에이전트 작업, 챗봇, RAG 시스템용으로 설계됐다.

모델 아키텍처 및 기능

하이브리드 Mixture-of-Experts 설계를 적용해 Mamba-2와 MoE 레이어를 교대로 배치하고 일부 어텐션 레이어를 포함한다. 주요 사양은 다음과 같다:

• 파라미터: 총 30B, 토큰당 활성 3B
• 컨텍스트 윈도우: 1M 토큰
• 기능: 도구 호출 및 구조화된 출력 지원

연동 및 가격

개발자는 AI SDK, Chat Completions, Responses, Messages API를 통해 모델에 접근할 수 있다. 최신 Vercel CLI를 설치하면 Claude Code, Codex, Cursor 같은 코딩 에이전트에서도 사용 가능하다. AI Gateway는 공급자 가격을 그대로 반영하며 마크업이 없고 추론 플랫폼 수수료가 부과되지 않는다. BYOK(Bring Your Own Key) 요청도 동일하다. 다만 공급자가 모델 개선을 위해 프롬프트를 보관할 수 있다.