AI BriefingIndic 980만문서 코퍼스 공개
Released a free 9.8M doc Indic multilingual corpus — Hindi, Bengali, Tamil, Telugu + 7 more (CC0, HuggingFace) [P]
·2026.05.19 08:09
핵심 내용
Hugging Face에 11개 언어·8.4B 토큰 규모 Indic 코퍼스가 공개됐다.
자세히 보기
AM0908/indic-hplt-v1가 Hugging Face에 공개됐다.
- 규모: 웹 문서 약 980만 개, 약 84억 토큰
- 언어: 11개 언어(
hi,bn,ta,te,mr,gu,kn,ml,pa,ur,en) - 라이선스: CC0
힌디어, 벵골어, 타밀어, 텔루구어를 포함한 Indic 다국어 웹 코퍼스로, 다국어 모델 학습과 데이터 정제·평가에 바로 활용할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.