NVIDIA Nemotron 3.5 Lightning과 NeMo Switchyard, 더 빠르고 똑똑하며 효율적인 에이전트 AI 제공

NVIDIA가 장시간 실행되는 에이전트 AI 작업을 겨냥한 Nemotron 3.5 Lightning과 오픈소스 라우팅 라이브러리 NeMo Switchyard를 공개했다. 두 기술은 PC, 워크스테이션, 데이터센터, 클라우드 등 다양한 환경에서 AI 배포와 실행 방식에 대한 통제력을 높이는 데 초점을 맞췄다.

Nemotron 3.5 Lightning은 300억 개 파라미터를 사용하는 Mixture-of-Experts(MoE) 기반의 공개 모델이다. 여러 모델이 역할을 나눠 수행하는 멀티에이전트 시스템에서 코드 리뷰, 도구 사용, 보안 알림 모니터링, 청구 관련 문의 등 고빈도 특화 작업을 처리하도록 설계됐다.

주요 특징은 다음과 같다.

• 동급 모델 대비 최대 4배 빠른 출력 속도
• 에이전트 작업 완료 시간 30% 단축
• NVIDIA NeMo를 활용한 자체 데이터·도구·워크플로 기반 post-training 지원
• 조직의 개인정보 보호 및 배포 위치에 맞춘 커스터마이징

NeMo Switchyard는 인기 에이전트 도구 내부에서 요청을 적절한 모델로 자동 배정하는 오픈소스 라이브러리다. 기업은 자체 요구에 맞는 라우터를 구축해 오픈 모델, proprietary 모델, NVIDIA 모델을 함께 운용할 수 있으며, 기존 애플리케이션을 다시 작성하지 않고도 요청별로 가장 적합한 모델을 선택할 수 있다.

CrowdStrike, Harvey, CodeRabbit, Lila Sciences, Fastino Labs 등은 사이버보안, 법률, 코드 리뷰, 과학, 금융 및 헬스케어 분야의 특화 에이전트 작업에 Nemotron 3.5 Lightning을 적용하거나 커스터마이징하고 있다.