NVIDIA, 블록 병렬 디코딩 지원하는 Nemotron-Labs-Sigma 8B 공개

nvidia/Nemotron-Labs-Sigma 8B/3B

·2026.11.17 03:06

핵심 내용

NVIDIA가 8,192 토큰 컨텍스트를 지원하는 Nemotron-Labs-Sigma 8B와 3B를 출시했다.

자세히 보기

  • NVIDIA가 Nemotron-Labs-Sigma 8B와 3B를 공개함. 이 모델들은 이산 토큰 대신 16차원 연속 토큰 임베딩 공간에서 가우시안 노이즈를 제거(denoising)하여 텍스트를 생성하는 연속 확산 언어 모델임.
  • 8B 모델은 최첨단 마스크 확산 LM과 경쟁하는 추론 정확도를 달성함. 동시에 64개 토큰 블록을 병렬로 정제하는 블록 병렬 디코딩을 지원함.
  • 추론 과정에서는 셀프 컨디셔닝과 선택적 클라시파이어 프리 가이드를 적용한 DDPM 또는 DDIM 샘플러를 사용함. 커스텀 커널이나 플래시 어텐션 없이 순수 PyTorch로 구현함.
  • SFT 변형은 지시 따르기를 위해 파인튜닝되어 상용 및 비상용 사용이 가능함. 최대 8,192 토큰의 컨텍스트 길이를 지원하는 영어 텍스트 처리에 최적화됨.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.