NVIDIA, 확산 기반 LLM 출시
NVIDIA has released Nemotron-TwoTower-30B-A3B-Base-BF16, an unusual diffusion-based language model built from the Nemotron 3 Nano 30B-A3B backbone.
·2026.06.25 17:34
NVIDIA가 생성 속도를 2.42배 높인 확산 기반 언어 모델 Nemotron-TwoTower-30B-A3B를 공개했습니다.
NVIDIA가 Nemotron 3 Nano 30B-A3B 백본을 활용한 새로운 언어 모델인 Nemotron-TwoTower-30B-A3B-Base-BF16를 출시했습니다. 이 모델은 기존의 토큰 단위 생성 방식에서 벗어난 독특한 확산(Diffusion) 기반 구조를 채택했습니다.
주요 기술적 특징은 다음과 같습니다:
- Two-Tower 구조: 고정된 Autoregressive(자기회귀) 컨텍스트 타워와 Diffusion Denoiser(확산 디노이저) 타워를 결합하여 토큰 블록을 병렬로 채워나가는 방식을 사용합니다.
- 성능 및 효율성: NVIDIA의 기본 Mask-diffusion 설정을 사용할 경우, 기존 자기회귀 모델 대비 벤치마크 품질은 **98.7%**를 유지하면서도 생성 처리량(Throughput)은 2.42배 더 빠릅니다.
이 모델은 기존 LLM의 생성 속도 한계를 극복하기 위한 새로운 아키텍처적 접근법을 제시합니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.