DGX Spark, DSpark 적용 시 Nemotron 3.5 Lightning 생성 속도 1.7배 향상

TensorRT Edge-LLM으로 DGX Spark에서 Nemotron 3.5 Lightning 실행하기 (DSpark로 생성 속도 최대 1.7배)

·2026.11.04 19:30

핵심 내용

NVIDIA가 DGX Spark에서 DSpark 적용 시 Nemotron 3.5 Lightning 생성 속도가 최대 1.73배 빨라진다고 밝혔다.

1 / 3

NVIDIA가 DGX Spark 64GB 환경에서 TensorRT Edge-LLM 0.11.1을 활용해 Nemotron 3.5 Lightning 실행 및 최적화 절차를 공개함.
DSpark 추측 디코딩 적용 시 생성 속도가 1.45~1.73배 향상되며, 첫 토큰 지연은 0.6~2.1ms 증가로 거의 변화 없음.
HumanEval 코딩 벤치마크에서 73.4 tok/s에서 126.9 tok/s로 최대 가속 효과가 확인됨.
Jetson Thor 등 다른 엣지 장치로 배포 시 GPU 구조 차이로 인해 엔진 재빌드가 필수적임.
모델은 30B 파라미터 중 3B 활성 MoE 구조이며, 한국어는 사전 학습 데이터에만 포함되어 지원 언어 목록에 없음.
OpenAI 호환 API 서버 실행은 실험 단계이며, 기본 동시 요청은 1개로 제한됨.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.