추천새로운 오픈 데이터셋을 통해 다국어 AI를 구축하는 연구자와 개발자 지원

GitHub는 연구자와 개발자가 비영어권 콘텐츠가 포함된 공개 리포지토리를 쉽게 찾을 수 있도록 돕는 GitHub Multilingual Repositories Dataset을 발표했다. 이 데이터셋은 리포지토리의 전체 내용을 담은 것이 아니라, 다국어 협업이 발생하는 지점을 식별할 수 있게 설계된 메타데이터 데이터셋이다.

데이터셋은 4,000만 개 이상의 리포지토리에 걸쳐 **8,000만 개 이상의 분류 행(classification rows)**을 포함한다. 각 공개 리포지토리에 대해 다음과 같은 정보를 제공한다.

• README, 가장 댓글이 많은 Issue, 가장 댓글이 많은 Pull Request의 언어 분류 정보 (각 텍스트의 처음 150자 샘플 포함)
• fastText, gcld3, lingua-py 등 세 가지 분류기를 통한 언어 식별 결과 및 신뢰도 점수 (신뢰도 0.5 초과 데이터만 포함)
• 리포지토리 메타데이터 (생성 시간, 디스크 사용량, Stars, Forks, 주요 프로그래밍 언어, 라이선스, 이슈/PR 개수 등)

사용자는 세 가지 분류기 결과를 모두 활용하여 연구 목적에 따라 정밀도(Precision)와 재현율(Recall)을 직접 조절할 수 있다. 예를 들어, 높은 정밀도가 필요하다면 세 분류기가 모두 일치하는 데이터만 추출하여 사용할 수 있다.

이 데이터셋은 특정 언어로 작성된 개발 문서나 협업 사례를 발견하고, 비영어권 개발자 커뮤니티의 활동을 연구하며, 다양한 언어에서 잘 작동하는 AI 코딩 도구의 평가 세트를 구축하는 데 활용될 수 있다.