Indic 980만문서 코퍼스 공개
Released a free 9.8M doc Indic multilingual corpus — Hindi, Bengali, Tamil, Telugu + 7 more (CC0, HuggingFace) [P]
·2026.05.19 08:09
Hugging Face에 11개 언어·8.4B 토큰 규모 Indic 코퍼스가 공개됐다.
AM0908/indic-hplt-v1가 Hugging Face에 공개됐다.
- 규모: 웹 문서 약 980만 개, 약 84억 토큰
- 언어: 11개 언어(
hi,bn,ta,te,mr,gu,kn,ml,pa,ur,en) - 라이선스: CC0
힌디어, 벵골어, 타밀어, 텔루구어를 포함한 Indic 다국어 웹 코퍼스로, 다국어 모델 학습과 데이터 정제·평가에 바로 활용할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.