NVIDIA, 600만 건 다국어 추론 데이터셋

NVIDIA가 오픈 생태계 지원을 위해 Nemotron Post-Training Dataset v2를 공개했다. 이번 데이터셋은 기존 영어 추론 데이터를 프랑스어, 스페인어, 독일어, 이탈리아어, 일본어 5개 언어로 번역한 600만 건 규모의 데이터로 구성되어 있다.

데이터 품질을 높이고 환각(Hallucination)을 방지하기 위해 문장 단위 번역, 특수 브래킷(〘〙)을 활용한 포맷 강제, fastText 기반 언어 식별 등의 검증 메커니즘을 적용했다.

함께 공개된 NVIDIA Nemotron Nano 2 9B 모델은 Transformer-Mamba 하이브리드 아키텍처를 사용하여 기존 모델 대비 최대 6배 높은 토큰 생성 속도를 제공한다. 또한 'Thinking budget' 기능을 통해 추론 비용을 최대 60% 절감할 수 있어 고객 서비스 에이전트나 엣지 디바이스 배포에 최적화되어 있다.