AI BriefingNVIDIA, Nemotron-Labs-Dory1.0-4B 공개
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 · Hugging Face
·2026.10.17 23:20
핵심 내용
NVIDIA가 256K 컨텍스트를 지원하는 루프형 아키텍처의 4B 파라미터 LLM을 출시했다.
자세히 보기
NVIDIA가 4B 파라미터의 대규모 언어 모델 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16을 공개했다. 이 모델은 루프형(latent-recurrent) 아키텍처를 적용한 normalized-GPT 구조를 채택했으며, **슬라이딩 윈도우 어텐션(SWA)**과 전체 어텐션 레이어를 교대로 배치해 작은 규모에서도 토큰당 더 많은 연산량을 처리함으로써 지능을 확장한다.
주요 사양
- 아키텍처: SWA와 전체 어텐션 레이어가 교대로 배치된 루프형(latent-recurrent) normalized-GPT
- 파라미터: 4B
- 정밀도: BF16
- 컨텍스트 길이: 최대 256K 토큰
- 지원 언어: 영어
- 라이선스: OpenMDW License Agreement, version 1.1
- 출시일: 2026년 10월 16일
이 모델은 범용 추론을 목표로 설계되었으며, 상업적 및 비상업적 용도로 모두 사용할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
