BigCode의 대규모 데이터 중복 제거 기술 공개

LLM 학습 데이터의 중복은 모델이 학습 데이터를 그대로 출력하게 만들거나 개인정보 공격에 취약하게 만드는 등 품질 저하의 주요 원인이 된다.

중복 제거(Deduplication)를 수행하면 다음과 같은 이점이 있다:

• 학습 효율성: 더 적은 학습 단계로도 동일하거나 더 나은 성능을 달성할 수 있음.
• 데이터 누수 방지: 벤치마크 오염을 방지하여 평가 결과의 신뢰성 확보.
• 접근성: 데이터 크기를 줄여 대규모 데이터셋의 공유와 협업을 용이하게 함.

BigScience 프로젝트의 경험을 바탕으로 BigCode 프로젝트에서 활용되는 MinHash LSH, Suffix Array, Onion 등의 기술적 방법론을 다룬다. 이를 통해 데이터셋의 크기를 효과적으로 줄이면서도 모델의 성능을 최적화하는 과정을 설명한다.