NVIDIA, 일본 문화 특화 합성 데이터셋 공개

NVIDIA가 일본의 인구 통계, 지리적 분포, 문화적 특성을 반영한 오픈 합성 데이터셋인 Nemotron-Personas-Japan을 공개했다. 이 데이터셋은 개인정보 보호를 위해 실제 인물의 데이터 대신 통계 기반의 합성 데이터를 사용하여 소버린 AI(Sovereign AI) 구축을 지원한다.

NeMo Data Designer를 통해 생성된 이 데이터셋은 다음과 같은 규모와 특징을 갖는다:

• 총 600만 건의 페르소나 (100만 개의 레코드, 각 레코드당 6개 페르소나)
• 약 14억 개의 토큰 규모
• 약 95만 개의 고유 이름 및 1,500개 이상의 직업 카테고리 포함
• CC BY 4.0 라이선스로 상업적/비상업적 이용 가능

개발자들은 이 데이터를 활용해 일본어 LLM을 파인튜닝하거나, 문화적 맥락을 이해하는 AI 에이전트를 구축할 수 있다. 또한, 다양한 인구 통계적 특성을 반영하여 모델의 편향성을 테스트하고 공정성을 평가하는 용도로도 사용 가능하다.