NVIDIA·AI4Bharat, 2.8T 토큰 인디언 데이터셋 공개

NVIDIA와 IIT 마드라스의 AI4Bharat 연구실이 인디언 언어 사전 학습용 대규모 데이터셋 Nemotron-pretraining-Indic-v1과 오픈소스 GPU 가속 데이터 생성 파이프라인을 공개했다. 이 데이터셋은 인도 헌법에 명시된 22개 언어를 포함하며, 이는 인도 인구의 약 97%인 12억 명에 해당한다. 총 규모는 2.8조 토큰이다.

데이터셋 구성 및 규모

코퍼스는 22개 언어의 원문 스크립트 데이터를 포함하며, 이 중 12개 언어는 로마자 표기 데이터도 함께 제공한다. 이를 통해 총 34개 언어-스크립트 조합이 구성된다. Gemma-4 토크나이저 기준 원문 스크립트는 2,601.0조 토큰, 로마자 표기는 224.6조 토큰이다. 데이터는 Nemotron-CC-v2의 영어 원문(웹, QA, 수학, 코드)을 번역해 생성된 합성 데이터이며, 모든 레코드에 대해 완전한 출처 추적이 가능하다.

생성 파이프라인 및 방법론

파이프라인은 NeMo Data Designer 프레임워크를 활용하며 GitHub(NVIDIA-NeMo/DataDesignerPlugins)에서 오픈소스로 공개된다. 언어 그룹별 워크플로우는 다음과 같다.

• 12개 언어 (원문 + 로마자): 문서 단위 번역에 Gemma-4-31B-it를 사용한다. MQM 기반 평가 기준을 적용해 점수 75/100 이상만 허용한다. 실패한 출력은 피드백 기반 복구를 통해 4,384억 토큰을 회수했다. 로마자 데이터는 승인된 원문 번역을 라틴 문자로 변환해 생성하며, 이는 영어에서 로마자로 직접 생성할 때보다 환각 현상을 줄인다.
• 10개 언어 (원문만): Bodhan AI가 개발한 Indic Translate를 사용한다. 품질 평가는 Gemma-4-31B-it로 수행하며 75/100 이상 기준을 적용한다. 산탈리어는 윈도우 기반 번역, 마니푸리어는 벵골어에서 마이트이 마예크로 스크립트 변환 등 특수 처리를 거친다. 이 그룹에는 피드백 기반 복구를 적용하지 않는다.

모델 성능 영향

이 데이터셋은 Nemotron 3.5 Super VL의 지속 사전 학습(CPT)에 사용되었으며, 총 예산의 10%인 100억 토큰이 추가되었다. Nemotron 3.5 Super VL 기술 보고서에 따르면:

• 벤치마크 개선: 5개 인디언 지식 및 추론 벤치마크(MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K)에서 점수가 4.98에서 9.82 퍼센트 포인트 상승했다.
• 품질 지표: IndiVibe 지표의 4개 카테고리(정확성, 유창성, 스크립트 안정성, 문화적 적절성)가 모두 개선되었다.
• 트레이드오프: 지시 따르기(IIFE)는 Nemotron 3 Super 대비 2.04 퍼센트 포인트 감소했다.

개발자 리소스 및 한계

개발자는 Hugging Face Datasets에서 언어-스크립트-지역 태그(예: hi-Deva-IN)를 사용해 데이터셋을 로드할 수 있다. 생성 레시피를 적용하기 위한 NeMo Data Designer용 오픈 플러그인도 포함된다. 저자들은 합성 데이터가 자연스러운 인디언 텍스트를 완전히 대체할 수 없으므로 자연 발생 데이터와 혼합할 것을 권장한다. 오픈 평가 스위트인 Indic-LLM-Eval-Suite도 개발 중이다.